SAŽETAK: U radu će ukratko biti prikazan istorijat razvoja jezičkih modela za srpski jezik koji su zasnovani na transformerskoj arhitekturi.
 Biće predstavljeno i nekoliko novih modela za generisanje i vektorizaciju teksta, obučenih na resursima Društva za jezičke resurse i tehnologije.
 Deset odabranih modela za vektorizaciju srpskog jezika, među kojima su i dva nova modela, biće upoređena na četiri zadatka obrade prirodnog jezika.
 Analiziraćemo koji su modeli najbolji za izabrane zadatke, kako veličina modela i veličina skupa za obučavanje utiču na njihove performanse na tim zadacima i šta je potrebno za obučavanje najboljih modela za srpski jezik.
KLjUČNE REČI: jezički modeli, srpski jezik, vektorizacija, obrada prirodnog jezika.
Početkom dvadeset i prvog veka, došlo je najpre do naglog porasta količine dostupnih tekstualnih podataka, a potom i do naglog rasta računarske moći, što je pokrenulo talas istraživanja zasnovanih na ideji dubokog učenja (deep learning) (LeCun, Bengio, and Hinton 2015).
 U slučaju obrade prirodnih jezika, istraživanja kulminiraju pojavom arhitekture transformera (Vaswani et al. 2017), zasnovanoj na upotrebi enkodera, čija je glavna namena analiza teksta, i dekodera, koji su zaduženi za sintezu teksta.
 Prvi izrazito popularan model ovog tipa bio je BERT1 (Devlin et al. 2018), zasnovan isključivo na transformerskom enkoderu.
 Ovaj model napravio je veliki pomak u obradi prirodnih jezika, pre svega na zadacima zasnovanim na vektorizaciji teksta.
 Njegove varijacije, RoBERTa (Liu et al. 2019) i DeBERTa (He et al. 2020) i danas postižu najbolje rezultate na zadacima ugnežđivanja reči (word embedding), anotacije reči (npr. obeležavanje vrste reči i prepoznavanje imenovanih entiteta) i klasifikacije rečenica i dokumenata.
 Sa druge strane, pojavljivanje modela GPT (generativni predobučeni transformer) (Radford et al. 2018) i GPT-2 (Radford et al. 2019) popularizovalo je jezičke modele zasnovane na trasnformerskom dekoderu, a ova grupa modela se danas najbrže razvija.
 Modeli koji kombinuju upotrebu enkodera i dekodera, kao što su, na primer BART (Lewis et al. 2020) i T5 (Raffel et al. 2020), ostaju nedovoljno zapaženi uprkos izvanrednim rezultatima koje postižu na zadacima transformacije teksta, kao što su mašinsko prevođenje, sumarizacija i prilagođavanje stila.
Jezički modeli zasnovani na arhitekturi transformera napravili su prodor u srpski jezik putem višejezičnih modela, najpre kroz MBERT (Devlin et al. 2018), a potom i kroz XLM-RoBERTa model (Conneau et al. 2019), za čije je obučavanje korišćeno oko četiri milijarde tokena iz tekstova pisanih na srpskom ili drugom srodnom jeziku (hrvatski, bosanski).
 Potonji model objavljen je u decembru 2019. godine u dve varijante – base (279 miliona parametara) i large (561 milion parametara).
 I danas se, kao jedan od najvećih modela za vektorizaciju, upotrebljava u obradi srpskog jezika i pritom ostvaruje dobre rezultate, pogotovo nakon doobučavanja.
Početkom 2021. godine, na platformi Huggingface6 objavljen je model pod nazivom BERTić (classla/bcms-bertic) (Ljubešić and Lauc 2021), baziran na arhitekturi ELECTRA (Clark et al. 2020), sa 110 miliona parametara, obučavan na korpusu od preko osam milijardi tokena, bosanskog (800 miliona), hrvatskog (5,5 milijardi), crnogorskog (80 miliona) i srpskog jezika (2 milijarde).
Kasnije iste godine napravljeni su i objavljeni prvi specifični modeli za srpski jezik u okviru jednog šireg jezičkog istraživanja za makedonski jezik (Dobreva et al. 2022).
 Preciznije, objavljena je srpska verzija RoBERTa-base modela, macedonizer/sr-roberta-base (120 miliona parametara) i srpska verzija GPT2-small modela, macedonizer/sr-gpt2 (130 miliona parametara).
 Oba modela su obučavana na korpusu srpske Vikipedije i podržavaju samo ćirilično pismo.
Nedugo potom preduzet je sličan poduhvat, pri kojem je obučeno pet RoBERTa-base modela za srpski jezik (Cvejić 2022).
 Prvobitni model Andrija/SRoBERTa imao je 120 miliona parametara i obučavan je na malom korpusu od 18 miliona tokena poznatom pod imenom Leipzig (Biemann et al. 2007), dok su potonja četiri modela imala po 80 miliona parametara, pri čemu je svaki obučavan na sve većem korpusu.
 Za model Andrija/SRoBERTa-base dodat je korpus OSCAR (Su´arez, Sagot, and Romary 2019) (220 miliona tokena), za model Andrija/SRoBERTa-L je pored njega dodat i srWAc (Ljubešić and Klubička 2014) (490 miliona tokena), za model Andrija/SRoBERTa-XL je uz prethodne dodat i deo korpusa cc100- hr (21 milijarda tokena) i cc100-sr (5,5 milijardi tokena) (Wenzek et al. 2020), dok su za model Andrija/SRoBERTa-F svi pomenuti korpusi korišćeni u celosti.
Krajem 2022. godine objavljena su tri eksperimentalna generativna modela za srpski jezik (Škorić 2023).
 Kontrolni model procesaur/gpt2- srlat bio je ponovo zasnovan na GPT2-small arhitekturi, imao je 138 miliona parametara i obučen je na isečku korpusa Društva za jezičke resurse i tehnologije (260 miliona tokena) (Krstev and Stanković 2023).
 Druga dva modela – procesaur/gpt2-srlat-sem i procesaur/gpt2- srlat-synt, nastala su doobučavanjem kontrolnog modela korišćenjem dva specijalno pripremljena korpusa sa ciljem zasebnog modelovanja semantike, odnosno, sintakse teksta.
 Tri modela su potom upotrebljena za eksperiment kombinovanja jezičkih modela na zadatku klasifikacije rečenica (Škorić, Utvić, and Stanković 2023).
Početkom naredne godine, istraživači sa Univerziteta u Nišu objavili su model JelenaTosic/SRBerta (75 miliona parametara) koji je takođe zasnovan na RoBERTa-base aarhitekturi, a obučavan je pomoću korpusa OSCAR (Su´arez, Sagot, and Romary 2019).
 Zanimljivo je da je ovaj model, kao i njegova druga verzija (nemanjaPetrovic/SRBerta, 120 miliona parametara), pre objavljivanja doobučen nad tekstovima iz domena prava (Bogdanović, Kocić, and Stoimenov 2024).
Sredinom 2023. godine objavljena su još dva generativna modela zasnovana na GPT arhitekturi.
Nakon objavljivanja generativnog modela od 800 miliona (jerteh/gpt2- orao) parametara, fokus se polako pomera na doobučavanje velikih modela korišćenjem tekstova na srpskom jeziku.
 Tako su objavljena dva modela zasnovana na arhitekturi Alpaca (Taori et al. 2023), datatab/alpaca-serbian-3b-base (3 milijarde parametara) i datatab/alpacaserbian- 7b-base (7 milijardi parametara), a najavljeno je i objavljivanje još jednog modela iste veličine, zasnovanog na arhitekturi Mistral- 7b (Jiang et al. 2023), koji je obučavan na hrvatskim, bosanskim i srpskim tekstovima (11,5 milijardi tokena).
 Isti korpus korišćen je i za doobučavanje XLM-RoBERTa-large modela u cilju poređenja performansi doobučavanih modela u odnosu na modele obučavane od početka (od nule).
 Novi model objavljen je pod imenom classla/xlm-r- bertic (Ljubešić et al. 2024) i broji 561 milion parametara, koliko ima i originalni XLM model.



Konačno, na skupu podataka nad kojim su obučavani jerteh/gpt2- orao i jerteh/gpt2-vrabac, obučena su još dva modela za vektorizaciju teksta.
 Veći model, jerteh/Jerteh-355,10 zasnovan je na RoBERTa-large arhitekturi i broji 355 miliona parametara, dok je manji model, jerteh/Jerteh-81,11 zasnovan na RoBERTa-base arhitekturi i broji 81 milion parametara.
 Kao i kod modela jerteh/gpt2-orao, cilj je da se modeli obuče na što kvalitetnijem korpusu tekstova.
 U ovom radu biće predstavljeno ispitivanje performansi ovih modela i njihovo poređenje sa performansama drugih odabranih modela kako bi se ustanovilo njihovo mesto u hijerarhiji jezičkih modela za vektorizaciju teksta na srpskom jeziku.
U prethodnom odeljku ukazano je na postojanje većeg broja višejezičnih modela koji, u manjoj ili većoj meri, podržavaju obradu srpskog jezika, kao i na dvadesetak modela koji su pripremljeni specijalno za obradu srpskog jezika.
 Objavljeni modeli se međusobno razlikuju prema nekoliko osobina:
 porodici (arhitekturi) modela i broju njegovih parametara, rečniku, odnosno tokenizatoru, na kojem se zasnivaju, skupu korišćenom za njihovo obučavanje, zadatku na kojem je model obučavan i dužini obučavanja.
 Treba napomenuti da neke od ovih informacija nedostaju za neke modele, ali i da su neke dostupne informacije (pre svega osobine skupa korišćenog za obučavanje) neproverljive.
U nastavku, rad će se fokusirati na deset odabranih modela za vektorizaciju (opšteg tipa).
 Osnovne informacije o tim modelima biće predstavljene u odeljku 2., eksperiment poređenja njihovih performansi na četiri pripremljena zadatka prikazaćemo u odeljku 3., a rezultati eksperimenata biće prikazani i razmotreni u odeljku 4..
 Naposletku, u odeljku 5., biće predložen proces obučavanja novih modela za srpski jezik.
 Ovaj rad neće razmatrati generativne modele usled nedostatka pouzdanog (ali automatskog) mehanizma za merenje njihovih performansi.
Za potrebe ovog rada, od prethodno pomenutih modela (odeljak 1.) odabrano je deset za detaljniju analizu.
 U tih deset ulaze najpre četiri SRoBERTa modela, koji su vrlo pogodni za ovaj eksperiment jer se razlikuju isključivo po skupu podataka za obučavanje.
 Dalje, tu su najstariji model, classla/bcms-bertic i najnoviji model, classla/xlm-rbertic, koje je objavio centar za južnoslovenske jezike CLASSLA, kao i dva najpopularnija višejezična modela xlm-roberta-base i xlm-robertalarge.
 Konačno, tu su dva modela koja se prvi put predstavljaju u ovom radu, modeli jerteh-81 i jerteh-355, koji su obučeni nad resursima Društva za jezičke resurse i tehnologije.
Osnovne karakteristike ovih deset modela prikazane su u tabeli 1.
       redni broj 1 2 3 4 5 6 7 8 9 10         Identifikator         Andrija/SRoBERTa-base         Andrija/SRoBERTa-L         Andrija/SRoBERTa-XL         Andrija/SRoBERTa-F         classla/bcms-bertic         classla/xlm-r-bertic         xlm-roberta-base         xlm-roberta-large         jerteh/jerteh-81         jerteh/jerteh-355         Rečnik tokena SRoBERTa bertic XLM-R jerteh         Arhitektura RoBERTa ELE. XLM-R RoBERTa         Veličina modela 80 110 561 279 561 81 355         Veličina skupa 500 1.000 3.750 5.700 8.400 11.500 4.000* 4.000         Srpski ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓         Hrvatski ✓ ✓ ✓ ✓ ✓ ✓         Bosanski ✓ ✓ ✓ ✓         Crnogorski ✓ ✓ ✓




        Tabela 1. Deset odabranih modela za vektorizaciju teksta na srpskom         jeziku i njihove osobine: rečnik tokena na kojem su zasnovani, arhitektura         modela, veličina modela izražena u milionima parametara i veličina skupa         izražena u milionima tokena.
U priloženoj tabeli, kao i iz opisa modela u prethodnom odeljku, vidi se da je najpopularnija arhitektura RoBERTa (6 od 10 odabranih modela), a dodatna tri modela zasnovana su na bliskoj, XLM-RoBERTa arhitekturi.
 Preostali model bcms-bertic, zasniva se na ELECTRA arhitekturi i jedini je od odabranih koji nije obučavan na zadatku modelovanja maskiranog jezika (predviđanja delova teksta maskiranih iza neke specijalne etikete).


Veličina odabranih modela varira od 80 (za četiri SRoBERTa modela) pa do preko 560 miliona parametara (za modele zasnovane na XLM-RoBERTa-large).
 Veličina skupa za obučavanje varira od 500 miliona za model 1 (SRoBERTa-base), pa do čak 11,5 milijardi tokena za model 6 (classla/xlm-r-bertic), pri čemu treba napomenuti da nije obučavan od nule, već je u pitanju xlm-roberta-large model doobučen za hrvatski, bosanski i srpski jezik.
Bitno je napomenuti i da deset prikazanih modela koriste samo četiri različita rečnika tokena, odnosno tokenizatora:


X1 SRoBERTa tokenizator - prva 4 modela; X2 bertic tokenizator - model broj 5; X3 XLM-R tokenizator - modeli 6 do 8; X4 jerteh tokenizator - poslednja 2 modela (9 i 10).
Deset odabranih modela je evaluirano na četiri zasebna zadatka kako bi se uporedile njihove performanse:
T1 Modelovanje maskiranog jezika (pogađanje nedostajućih tokena); T2 Izračunavanje (semantičke) sličnosti između rečenica; T3 Obeležavanje vrstom reči; T4 Prepoznavanje imenovanih entiteta.
Prva dva zadatka pripadaju grupi takozvanih uzvodnih zadataka (upstream), tj. zadataka koji koriste modele u osnovnom stanju, dok druga dva zadatka pripadaju grupi nizvodnih zadataka (downstream) jer zahtevaju da se modeli fino podese (fine-tune) i testiraju na specijalno pripremljenom skupu podataka.
Kao što je već pomenuto, za uzvodne zadatke nije neophodno prilagođavanje modela, te je potrebno samo pripremiti skupove za testiranje.
Kako bi se sprovela evaluacija modela na zadatku modelovanja maskiranog jezika (T1) najpre je pripremljen poseban skup podataka u vidu tekstova u kojima su u svakoj rečenici po jedan nasumično izabrani token maskirani – po jedan token je sakriven, na primer iza maske  &lt;MASK&gt; .
Y1 Dečko, srpski prevod romana Podrostok od Dostojevskog; Y2 Mladić, alternativni prevod Dečka; Y3 Put oko sveta za 80 dana, srpski prevod romana Žila Verna; Y4 Put oko svijeta u 80 dana, hrvatski prevod romana Žila Verna.

Prva dva izvora nisu korišćena za obučavanje nijednog modela, dok su druga dva već dugo dostupni na vebu (Vitas et al. 2008) i stoga su verovatno korišćeni za obučavanje većine, ako ne i svih, navedenih modela.
Za potrebe evaluacije na zadatku izračunavanja sličnosti između rečenica (T2), korišćene su rečenice iz istih romana, to jest dva para paralelizovanih romana (Y1 i Y2, odnosno Y3 i Y4), ali pripremljene kao tripleti.
1. "Zaista, ko ne bi obišao svet i za manju cenu?" (kontrolna rečenica, Y3: Put oko sveta za 80 dana)
2. "Doista, nije li i za manje od toga vrijedno izvršiti put oko svijeta?" (parnjak, Y4: Put oko svijeta u 80 dana)
3. "He! he! pa konačno zašto ne bi uspio?" (lažni parnjak, Y4: Put oko svijeta u 80 dana)

Zadatak modela bio je da u zadatim tripletima prepoznaju pravi parnjak (sličnost između prve i druge rečenice treba da bude veća nego između prve i treće), a za procenu rezultata testa uzimana je tačnost na tom zadatku.
 Sličnost između dveju rečenica izračunava se kao razlika broja 1 i kosinusne udaljenosti izračunatih rečeničnih vektora.
 Da bi se izračunao rečenični vektor, model najpre dodeli vektorske vrednosti svakom tokenu u rečenici, a potom se vrednost tih vektora usrednjava kako bi se dobila vektorska reprezentacija rečenice.

Za potrebe evaluacije modela preostala dva predviđena zadatka, modeli su doobučeni i testirani na posebnim skupovima podataka.
 Za obeležavanje vrstom reči (T3) korišćen je javno dostupni skup Srp- Kor4Tagging (Stanković et al. 2020) (trista pedeset hiljada obeleženih tokena), dok je za prepoznavanje imenovanih entiteta (T4) korišćen drugi javno dostupni skup SrpELTeC-gold (Šandrih Todorović et al. 2021).
U oba slučaja, modeli su doobučeni na 90% obeleženih rečenica iz svakog skupa i testirani na preostalih 10%.
Rezultati prvog testa (T1), tj. prosečna tačnost odabranih modela na zadatku dopunjavanja nedostajućeg tokena u svakom od šesnaest pripremljenih tekstova, prikazani su u tabeli 2.


redni broj 1 2 3 4 5 6 7 8 9 10 Andrija/SRoBERTa-base Andrija/SRoBERTa-L Andrija/SRoBERTa-XL Andrija/SRoBERTa-F classla/bcms-bertic classla/xlm-r-bertic xlm-roberta-base xlm-roberta-large jerteh/jerteh-81 jerteh/jerteh-355 X1-Y1 0,43 0,63 0,66 0,70 / 0,43 0,46 0,51 0,70 0,75 X1-Y2 0,43 0,62 0,64 0,69 / 0,42 0,46 0,50 0,69 0,73 X1-Y3 0,37 0,56 0,59 0,63 / 0,34 0,38 0,43 0,66 0,72 X1-Y4 0,36 0,55 0,64 0,68 / 0,34 0,38 0,42 0,58 0,63 X2-Y1 0,36 0,47 0,51 0,54 / 0,47 0,50 0,55 0,57 0,60 X2-Y2 0,37 0,48 0,51 0,54 / 0,46 0,50 0,54 0,56 0,59 X2-Y3 0,31 0,41 0,45 0,48 / 0,42 0,45 0,50 0,50 0,54 X2-Y4 0,31 0,42 0,47 0,51 / 0,42 0,46 0,50 0,47 0,51 X3-Y1 0,37 0,49 0,52 0,54 / 0,48 0,50 0,55 0,57 0,60 X3-Y2 0,37 0,48 0,51 0,54 / 0,46 0,50 0,54 0,57 0,59 X3-Y3 0,30 0,41 0,44 0,47 / 0,41 0,45 0,49 0,50 0,54 X3-Y4 0,31 0,42 0,47 0,51 / 0,41 0,46 0,50 0,47 0,50 X4-Y1 0,42 0,60 0,63 0,67 / 0,43 0,47 0,51 0,73 0,78 X4-Y2 0,41 0,58 0,61 0,65 / 0,41 0,45 0,49 0,71 0,75 X4-Y3 0,35 0,53 0,55 0,60 / 0,33 0,38 0,42 0,69 0,76 X4-Y4 0,34 0,50 0,58 0,62 / 0,33 0,37 0,41 0,62 0,66 prosek 0,36 0,51 0,55 0,59 / 0,41 0,45 0,49 0,60 0,64



Tabela 2. Tačnost modela u pogađanju tokena (iz tri pokušaja) na zadatku modelovanja maskiranog jezika nad šesnaest pripremljenih maskiranih tekstova i njihova prosečna tačnost.
U priloženim rezultatima je može se uočiti superiornost novog modela, jerteh-355, koji ostvaruje bolji rezultat od ostalih modela u trinaest od šesnaest slučajeva, odnosno bolji ili isti rezultat (±1%) u petnaest od šesnaest slučajeva.
Rezultati testa izračunavanja sličnosti između rečenica (T2) prikazani su u tabeli 3.
 Vrednosti prikazuju tačnost modela pri prepoznavanju rečenica sa istim/sličnim značenjem u tripletima ekstrahovanim iz dva srpska prevoda istog romana, Y1 i Y2 (prvi red vrednosti), iz srpskog i hrvatskog prevoda istog romana, Y3 i Y4 (drugi red), i prosečnu tačnost (treći red).

      redni broj 1 2 3 4 5 6 7 8 9 10         Andrija/SRoBERTa-base         Andrija/SRoBERTa-L         Andrija/SRoBERTa-XL         Andrija/SRoBERTa-F         classla/bcms-bertic         classla/xlm-r-bertic         xlm-roberta-base         xlm-roberta-large         jerteh/jerteh-81         jerteh/jerteh-355         Y1-Y2 0,93 0,95 0,96 0,96 0,92 0,76 0,90 0,87 0,95 0,95         Y3-Y4 0,83 0,89 0,92 0,91 0,79 0,66 0,78 0,71 0,89 0,83         prosek 0,88 0,92 0,94 0,93 0,85 0,71 0,84 0,79 0,92 0,89




Tabela 3. Rezultati odabranih modela na zadatku prepoznavanja rečenica         sa istim značenjem u tripletima ekstrahovanim iz prevoda Dostojevskog (Y1-         Y2), Verna (Y3-Y4), kao i u proseku.
 U svakom redu najbolji rezultat (±1%)             obeležen je podebljanjem.
Rezultati za prvi niz tripleta su veoma dobri za nekoliko modela: SRoBERTa-L, SRoBERTa-XL, SRoBERTa-F, jerteh-81 i jerteh- 355 ostvaruju sličnu tačnost od preko 95%.
r.b. 1 2 3 4 5 6 7 8 9 10 Andrija/SRoBERTa-base Andrija/SRoBERTa-L Andrija/SRoBERTa-XL Andrija/SRoBERTa-F classla/bcms-bertic classla/xlm-r-bertic xlm-roberta-base xlm-roberta-large jerteh/jerteh-81 jerteh/jerteh-355 T3 0,974 0,980 0,982 0,982 0,986 0,987 0,984 0,986 0,985 0,986 T4 0,908 0,922 0,929 0,935 0,942 0,942 0,933 0,935 0,928 0,928

Tabela 4. F1-mera koju su modeli ostvarili na zadacima T3 (obeležavanje vrste reči) i T4 (prepoznavanje imenovanih entiteta). U svakom redu najbolji rezultat (±0.1%) obeležen je podebljanjem.


Iz rezultata prikazanih u tabeli 4 vidi se da na zadatku T3 (obeležavanje vrstom reči) devet od deset modela ostvaruje jako dobre rezultate (preko 98%), pri čemu se rezultati koje ostvaruju četiri najbolja modela (classla/bcms-bertic, classla/xlm-r-bertic, xlm-roberta-large i jerteh/jerteh-355 ) razlikuju za manje od 0,02%, ukazujući da se modeli polako približavaju gornjim granicama performansi kada je u pitanju ovaj zadatak.
Kada su u pitanju rezultati ostvareni na poslednjem zadatku T4 (prepoznavanje imenovanih entiteta), najbolje performanse prikazali su modeli classla/bcms-bertic i classla/xlm-r-bertic, pri čemu su razlike u F1-merama nešto više nego na zadatku T3 (∼ 4% za zadatak T4 u odnosu na ∼ 1% za zadatak T3), ali i dalje znatno niže nego što su razlike na uzvodnim zadacima (čak ∼ 28% za zadatak T1).
U narednom odeljku biće razmatrani rezultati koje su modeli ostvarili, kao i razlozi koji su doveli do tih rezultata, sa ciljem da se ustanove najpovoljniji uslovi za obučavanje modela za srpski jezik u budućnosti.
Prethodno prikazani rezultati evaluacije modela (tabele 2–4), pokazuju da ne postoji jedan model, ili grupa modela, koji su najbolji u opštem slučaju, već su se različiti modeli pokazali kao bolji (ili lošiji) na različitim zadacima.
Rezultati evaluacije modela na zadatku modelovanja maskiranog jezika (tabela 2) pokazuju ubedljivu prednost modela jerteh/jerteh-355, sa tim da dobre rezultate ostvaruje i jerteh/jerteh-81, koji je drugi najbolji model za ovaj zadatak kada se posmatraju prosečne vrednosti.
Prosečna tačnost modela na zadatku T1 prema njihovoj veličini, odnosno prema veličini skupa koji je korišćen za njihovo obučavanje prikazan je na slici 1.
    Slika 1. Tačnost modela na zadatku modelovanja maskiranog jezika prema     veličini tih modela (levo), kao i prema veličini skupova za obučavanje     modela (desno).
 Prikazana kriva trenda odgovara logaritamskoj funkciji.
 Na prvi pogled, primetni su neki istaknuti izuzeci, pre svega modeli zasnovani na XLM-R arhitekturi, koji ostvaruju neke od najlošijih rezultata na ovom zadatku.
 Ukoliko se njihovi rezultati uklone, pojavljuju se novi trendovi (slika 2).
Slika 2. Tačnost modela na zadatku modelovanja maskiranog jezika prema veličini tih modela (levo), kao i prema veličini skupova za obučavanje modela (desno), pri čemu su uklonjeni rezultati modela zasnovanih na XLMR arhitekturi.
Prilikom evaluacije zadatka T2 ustanovljeno je da najbolje rezultate ostvaruju modeli SRoBERTa-L, SRoBERTa-XL, SRoBERTa-F, jerteh-81 i jerteh-355 kada je u pitanju prepoznavanje sličnih rečenica na srpskom jeziku, a SRoBERTa-XL i SRoBERTa-F kada je u pitanju prepoznavanje sličnih rečenica između srpskog i hrvatskog jezika (tabela 2).
 Ovo ukazuje da je ključ za dobro ugnježđivanje rečenica prethodno obučavanje modela za jezike koji se ispituju.
Dakle, za ugnježđivanje rečenica na srpskom jeziku najbolji su modeli prethodno obučeni na dovoljno velikom skupu rečenica srpskog jezika, ali ako se obrađuju i rečenice na hrvatskom, modeli koji su obučavani i na srpskom i na hrvatskom imaju prednost.
 Sa druge strane, modeli zasnovani na XLM-R arhitekturi koji su unapred obučeni na sto svetskih jezika ponovo pokazuju najlošije rezultate, verovatno zbog velikog šuma koji raznoliki skup za obučavanje proizvodi.

Na slici 3 prikazan je uticaj veličine modela i skupova za obučavanje na performanse na ovom zadatku, a linije trenda ukazuju da se sa povećanjem i modela i skupa za obučavanje performanse smanjuju.
 Uticaj veličine skupa može donekle biti pripisan prethodno opisanom fenomenu koji pogađa XLM-R arhitekturu.
Slika 3. Tačnost modela na zadatku ugnežđivanja prema veličini tih     modela (levo), kao i prema veličini skupova za obučavanje modela (desno).
Prikazana kriva trenda odgovara logaritamskoj funkciji.


Za razliku od evaluacije na uzvodnim zadacima, na nizvodnim zadacima rezultati koje postižu modeli mnogo su sličniji.
 Na zadatku obeležavanja vrstom reči (T3) gotovo svi modeli ostvaruju dobre rezultate (tabela 4), uključujući i one zasnovane na XLM-R arhitekturi.
 Štaviše, classla/xlm-r-bertic i xlm-roberta-large dva su od četiri modela koji ostvaruju najbolje rezultate (druga dva modela su classla/bcms-bertic i jerteh/jerteh-355 ).

Zajedničko za ova četiri modela je da su ili najveći modeli ili modeli koji su obučavani na najvećim skupovima podataka.
 Pozitivna korelacija između performansi i veličine modela, kao i između performansi i veličine skupova za obučavanje uočava se i na slici 4.
Slika 4. Performanse modela na zadatku obeležavanja vrstom reči prema veličini tih modela (levo), kao i prema veličini skupova za obučavanje modela (desno).
 Prikazana kriva trenda odgovara logaritamskoj funkciji.

Korelacija između veličine skupa za obučavanje još je očiglednija u slučaju prepoznavanja imenovanih entiteta (slika 5).
 Najbolje rezultate na ovom zadatku (T4) ostvarila su dva modela sa najvećim skupovima za obučavanje, dok je ponovo primetna i uspešnost XLM-R modela, kao i kod prethodnog zadataka.
Slika 5. Performanse modela na zadatku prepoznavanja imenovanih entiteta prema veličini tih modela (levo), kao i prema veličini skupova za obučavanje modela (desno).
 Prikazana kriva trenda odgovara logaritamskoj funkciji.
Kada je u pitanju modeliranje maskiranog jezika, čini se da razvoj novih modela za srpski jezik ide u pravom smeru.
 Model jerteh/jerteh- 355 ostvaruje ubedljivo najbolje rezultate, barem kada je u pitanju rad sa visokokvalitetnim tekstovima, čak i kada su maskirani tokenizatorima drugih modela (tabela 1).
 Premda povećanje skupa podataka za obučavanje povoljno utiče na performanse modela (slika 2), ne treba zanemariti ni kvalitet skupa jer modeli jerteh/jerteh- 355 i jerteh/jerteh-81 nadmašuju modele Andrija/SRoBERTa-F i Andrija/SRoBERTa-XL obučene na većim skupovima, ukazujući da veb- korpusi možda nisu uvek dovoljni za obučavanje dobrih modela.
Na zadatku izračunavanja sličnosti između rečenica, tj. ugnežđivanja rečenica, istakli su se modeli kao što su Andrija/SRoBERTa-F i Andrija/SRoBERTa-XL, za kojima sasvim malo zaostaju Andrija/SRoBERTa-L, jerteh/jerteh-81 i jerteh/jerteh-355, kada su u pitanju rečenice na srpskom jeziku (tabela 3).
 Ono što izdvaja ove modele je da su manji u odnosu na druge modele i da su obučavani na većem skupu, pa izgleda da je za ovaj zadatak ključna generalizacija, dakle, veći skupovi podataka (ili možda manji modeli).
U slučaju oba uzvodna zadatka, tačnost koju ostvaruju modeli zasnovani na XLM-R arhitekturi mnogo je niža u odnosu na tačnost modela zasnovanih na RoBERTa arhitekturi.
 U slučaju prvog zadatka (T1) to se može objasniti njihovim većim rečnikom tokena (pa je samim tim i izbor odgovarajućeg tokena teži).
 Ipak, takvo objašnjenje ne bi bilo adekvatno i za drugi zadatak (T2).
 Sa druge strane modeli zasnovani na XLM-R arhitekturi pokazali su se kao najbolji (uz malu marginu) na nizvodnim zadacima, pre svega na zadatku prepoznavanja imenovanih entiteta (T4).
 Čini se da je za uspešno rešavanje ovog zadatka najbolje da se model tokom obučavanja susretne sa najrazličitijim brojem tokena, ali poboljšanja donosi i dodatno obučavanje na srpskim tekstovima.
Najvažnije skupove podataka za obučavanje modela GPT2-orao, GPT2-vrabac, jerteh-81 i jerteh-355 obezbedilo je Društvo za jezičke resurse i tehnologije.



Računarske resurse za obučavanje modela GPT2-orao i GPT2- vrabac obezbedila je Nacionalna platforma za veštačku inteligenciju Srbije.






Računarske resurse za obučavanje modela jerteh-81 i jerteh-355 obezbedio je Rudarsko-geološki fakultet Univerziteta u Beogradu.




