SAŽETAK: Ovaj rad će predstaviti tekstualne korpuse za srpski (i srpskohrvatski) koji se mogu koristiti za treniranje velikih jezičkih modela, a koji su javno dostupni na jednom od nekoliko značajnih veb repozitorijuma.
 Svaki korpus će biti klasifikovan pomoću više metoda i njegove karakteristike će biti detaljno opisane.
 Pored toga, rad će predstaviti tri nova korpusa: novi krovni veb-korpus za srpskohrvatski, novi visokokvalitetni korpus zasnovan na doktorskim disertacijama pohranjenim u Nacionalnom repozitorijumu doktorskih disertacija sa svih univerziteta u Srbiji, i paralelni korpus prevoda sažetaka iz istog izvora.
 Jedinstvenost starih i novih korpusa biće ocenjena putem stilometrijskih metoda zasnovanih na frekvenciji, i ukratko će se diskutovati o rezultatima.
KLjUČNE REČI: korpusi, srpski jezik, jezički modeli, evaluacija.
S naglim povećanjem dostupnih tekstualnih podataka kroz fenomen Big Data početkom dvadeset prvog veka, ubrzo se uvidelo da se ti podaci mogu koristiti za izgradnju korpusa za modelovanje prirodnog jezika.
 Podaci sa interneta, čija količina brzo raste, najpre su korišćeni kao dodatak podacima iz knjiga, koji su sporije rasli, ali, sa povećanim interesovanjem za količinu, polako ali sigurno dostigli su i nadmašili udeo podataka zasnovanim na knjigama u raznim korpusima za treniranje jezičkih modela.
 Danas, većina javno dostupnih korpusa koristi podatke sa interneta, uglavnom zbog labavijih ograničenja autorskih prava.
U kontekstu ovog istraživanja, kategorisaćemo skupove podataka u sledeće kategorije na osnovu njihovog porekla:
O1 Veb-korpusi – korpusi koji sadrže tekstove prikupljene sa otvorenog interneta, prvenstveno korišćenjem automatskog sakupljanja HTML stranica;
O2 Korpusi visokog kvaliteta – korpusi koji sadrže tekstove iz udžbenika ili sličnih izvora, odnosno naučne publikacije svih vrsta (naučne monografije i članci u naučnim časopisima, radovi sa konferencija/zbornika, teze itd.) i drugih objavljenih neliterarnih dela (vladini i pravni tekstovi koji nisu prisutni na internetu, filozofski tekstovi, kulinarski recepti itd.) prikupljeni prvenstveno iz digitalno nastalih dokumenata ili skaniranih fizičkih kopija;
O3 Literarni korpusi – korpusi koji sadrže objavljene literarna dela uključujući mitologiju i religiozne tekstove;
O4 Sintetički korpusi – korpusi koji sadrže tekstove koji nisu sa Interneta, a koji su kreirani mašinskim putem korišćenjem metoda generisanja prirodnog jezika ili mašinskog prevođenja;
O5 Mešoviti korpusi – korpusi kreirani korišćenjem tekstova koji potiču iz mešavine navedenih i drugih izvora.
Osim očigledne razlike u izvornoj građi, ove kategorije se razlikuju i po procesu kreiranja tekstova koje sadrže: dok su tekstovi iz prve tri grupe (O1-O3) uglavnom kreirani od strane ljudi (niko ne može garantovati da preuzeta HTML stranica nije mašinski generisan tekst), samo druga i treća grupa sadrže one tekstove koji su nužno uređeni, tj.
 pročitani i ispravljeni pre objavljivanja, što zahteva vreme, ali osigurava viši kvalitet.
 Tekstovi kreirani od strane mašina (O4) obično se pripremaju najbrže od svih, ali su povezani sa nižim kvalitetom.
Još jedna važna klasifikacija je oblik korpusa.
 S tim u vezi, korpuse klasifikujemo na sledeći način:
F1 Korpusi neobeleženog teksta – korpusi koji sadrže samo tekstove koji se mogu koristiti za pretreniranje velikih jezičkih modela kao što su BERT1 (Devlin et al. 2018) i GPT2 (Radford et al. 2018);
F2 Obeleženi korpusi – korpusi gde su tokeni, rečenice ili drugi segmenti obeleženi, npr. tekstovi obeleženi prema vrsti reči, ili rečenice obeležene na osnovu sentimenta– ovi korpusi se obično koriste za fino podešavanje modela za zadatke obeležavanja teksta;
F3 Paralelni korpusi – korpusi gde svaka rečenica (ili drugi segment) ima specifičan par, npr. prevod na drugi jezik ili odgovor na pitanje – ovi korpusi se obično koriste za treniranje modela sa generativnom komponentom kao što je T53 model (Raffel et al. 2020).
U narednom odeljku, rad će se fokusirati na korpuse srpskog i srpskohrvatskog jezika pribavljene iz tri značajna veb izvora za korpuse i skupove podataka: Hugging Face,4 CLARIN virtual language repository, i European Language Grid.
 Drugi pojedinačni repozitorijumi (npr. GitHub projekti) nisu pretraživani.
 Osnovne informacije o korpusima preuzetim sa ovih platformi biće predstavljene u odeljku 2., novopripremljeni korpusi biće predstavljeni u odeljku 3., a eksperiment vezan za procenu njihove jedinstvenosti biće predstavljen u odeljku 4.
 Konačno, diskusija o rezultatima ove procene nalazi se u odeljku 5.
Kao što je već pomenuto, u ovom odeljku biće predstavljena lista korpusa koja je sastavljena pregledom tri veb izvora:
 Hugging Face (HF), CLARIN virtual language repository (VLO) i European Language Grid (ELG), s tim što su jezici korpusa ograničeni na domen srpsko-hrvatskog makrojezika, odnosno srpski, crnogorski, hrvatski i bosanski, jer treniranje sa srodnim jezicima može biti korisno u određenim scenarijima, posebno za zadatke koji uključuju višejezično razumevanje ili prevođenje.
 Preuzeti korpusi su kategorisani i po formi (primarna klasifikacija) i po poreklu (sekundarna klasifikacija)
 Za korpuse neobeleženog teksta (F1), minimalni uslov za uključivanje bio je trideset miliona reči za veb-korpuse (O1), i tri miliona reči za ostale (O2-O5).
 Pošto je većina korpusa u ovoj kategoriji veb porekla, sprovedeno je i kratko istraživanje o deduplikaciji.
 Kada su u pitanju obeleženi (F2) i paralelni korpusi (F3), kriterijum za veličinu je bio postavljen na 3000 rečenica, jer su ovi resursi mnogo ređi i obično se koriste samo za fino podešavanje.
Tabele 1 i 2 detaljno opisuju dvadeset četiri preuzeta korpusa neobeleženog teksta.
 Prva tabela se fokusira samo na srpske korpuse, dok druga predstavlja ostale korpuse u okviru srpsko-hrvatskog makrojezika, uključujući nekoliko krovnih korpusa (proizvedenih objedinjavanjem i deduplikacijom nekoliko drugih korpusa).
Naziv Jez. Poreklo Vel. Izdavač Čvor. srWaC sr web 493 ReLDI VLO cc100_sr sr web 711 Conneau et al. HF mC4-sr sr web 800 Google HF OSCAR-sr sr web 632 OSCAR proj. HF CLASSLA-sr sr web 752 CLASSLA VLO MaCoCu-sr sr web 2.491 Ba˜n´on et al VLO PDRS1.0 sr web 602 ISJ VLO SrpKorNews sr web 468 JeRTeh HF SrpELTeC sr literary 5,3 JeRTeh HF
Tabela 1. Korpusi neobeleženog teksta isključivo na srpskom jeziku, dostupni na istraženim čvorištima skupova podataka.
 Veličina je predstavljena u milionima reči (M)
Naziv Jez. Poreklo Vel. Izdavač Čvor. meWaC cnr web 80 ReLDI VLO hrWaC hr web 1.250 ReLDI VLO bsWaC bs web 256 ReLDI VLO cc100_hr hr web 2.880 Conneau et al. HF CLASSLA-hr hr web 1.341 CLASSLA VLO CLASSLA-bs bs web 534 CLASSLA VLO hr_news hr web 1.433 CLASSLA HF MaCoCu-cnr cnr web 161 Ba˜n´on et al VLO MaCoCu-hr hr web 2.363 Ba˜n´on et al VLO MaCoCu-bs bs web 730 Ba˜n´on et al VLO riznica hr mixed 87 IHJJ VLO HPLT 1.2-sh mixed web 10.030 HPLT proj. HF BERTić-data mixed ∼web 8.388 CLASSLA VLO MaCoCu-hbs mixed web 5.490 CLASSLA HF XLM-R-BERTić-data mixed ∼web 11.539 CLASSLA HF
Tabela 2. Srpsko-hrvatski korpusi neobeleženog teksta dostupni na istraženim čvorištima skupova podataka, koji nisu isključivo na srpskom jeziku.
 Veličina je predstavljena u milionima reči (M).
Osim četiri korpusa, ostali korpusi sadrže isključivo materijal preuzet sa Interneta.
 Jedan korpus je literarni, jedan je mešoviti, a preostala dva su agregirana i klasifikovana kao gotovo veb-korpusi (∼web), pošto uključuju pomenuti mešoviti korpus, riznica (´Cavar and Brozović Rončević 2012).
Većina ovih korpusa je proizvod nekoliko zasebnih poduhvata.
 Korpusi srWac, meWac, hrWac i bsWac nastali su preuzimanjem sadržaja veb stranica sa domena najvišeg nivoa za pomenuta četiri jezika (Ljubešić and Klubička 2014; Ljubešić and Erjavec 2021), što je rezultiralo sa više od dve milijarde reči.
 Proces je kasnije ponovljen kako bi se proizveli CLASSLA-sr, CLASSLA-hr i CLASSLAbs, prikupivši preko 2,5 milijardi reči (Ljubešić and Lauc 2021).
Dodatnih šest korpusa je izvedeno iz skupa podataka Common Crawl: OSCAR-sr (632M) je izveden iz skupa podataka projekta OSCAR (Su´arez, Sagot, and Romary 2019), mC4-sr (800M) je izveden iz višejezičnog skupa podataka C4, koji je kreirala kompanija Gugl (Xue et al. 2021), HPLT 1.2-sh (preko 10 milijardi reči) je dobijen iz skupa podataka projekta HPLT (Aulamo et al. 2023), dok su cc100_sr i cc100_hr (preko 3,5 milijardi reči) izvedeni iz cc100 skupa podataka (Conneau et al. 2019). Treba napomenuti da su neki od ovih poduhvata proizveli dodatne korpuse koji nisu uključeni u ovu studiju jer nisu ispunili minimalni uslov od tri miliona reči.
MaCoCu projekat sakupljanja veb stranica (Ban´on et al. 2022; Kuzman and Ljubešić 2023) proizveo je MaCoCu-sr (2,5 milijarde reči), MaCoCu-cnr (151M), MaCoCu-hr (2,2 milijarde), MaCoCu-bs (686M), i njihov deduplikovani agregat, MaCoCu-hbs (5,5 milijardi reči).


Još jedan značajan poduhvat deduplikacije uključuje četiri WaC korpusa, tri CLASSLA korpusa, cc100_sr, cc100_hr i korpus riznica.
 Time je proizveden objedinjeni korpus od a 8,4 milijardi reči, objavljen pod imenom BERTić-data (Ljubešić and Lauc 2021).


I BERTić-data i MaCoCu-hbs su ponovo objedinjeni, zajedno sa mC4-sr i hr_news (1,4 milijarde reči) kako bi se kreirao XLMR- BERTić-data (11,5 milijardi reči), najveći objavljeni srpsko- hrvatski objedinjeni korpus.
 On, međutim, ne uključuje Common Crawl skupove HPLT 1.2-sh i OSCAR-sr, niti nedavno objavljeni korpus PDRS1.0 (Wasserscheidt 2023) (600M), a ni korpus SrpKorNews (Krstev and Stanković 2023) (468M).
 Ovo ukazuje na mogućnost kreiranja novih, većih krovnih korpusa kako za srpski, tako i za srpskohrvatski jezik.
 Kompletan sadašnji poduhvat agregacije korpusa je prikazan na slici 1.
Slika 1. Hijerarhija agregacije javno dostupnih srpskohrvatskih korpusa         neobeleženog teksta.
 Plava boja predstavlja korpuse srpskog jezika, cijan             crnogorskog, ružičasta hrvatskog, zelena bosanskog, a ljubičasta boja             predstavlja korpuse mešovitog jezičkog porekla.

Jedini literarni korpus dostupan na vebu koji ispunjava veličinske uslove i dalje je SrpELTeC korpus (Krstev 2021; Stanković et al. 2022), koji obuhvata 120 romana i sadrži 5 miliona reči.
Ispitivanjem odabranih čvorišta sa skupovima podataka pronašli smo 10 obeleženih korpusa za srpski jezik (tabela 3).
 Usredsredili smo se na korpuse koji su obeleženi pomoću skupa oznaka Universal POS (17 klasa), pri čemu nije bilo ograničenja kada je u pitanju prepoznavanje imenovanih entiteta (NER) i obeležavanje sentimenta.
Naziv Jez. Poreklo Anot. Vel. Izdavač Čvor.     SrpKor4Tagging sr mixed POS 60 JeRTeH ELG     1984 sr literary POS 6,7 MULTEXT-East ELG     Intera sr textbook POS 47,5 META-SHARE ELG     reldi_sr sr web POS 5,5 ReLDi HF     SETimes_sr sr web POS, NER 4 ReLDi HF     NormTagNER-sr sr web POS, NER 7 ReLDi VLO     SrpELTeC-gold sr literary NER 52 JeRTeh ELG     wikiann-sr sr ∼textbook NER 40 Wikimedia HF     polyglot_ner-sr sr mixed NER 560 Al-Rfou et al HF     mms-sr sr web sentiment 76 Brand24 HF





Tabela 3. Obeleženi korpusi isključivo srpskog jezika dostupni na     istraženim čvorištima skupova podataka.
 Veličina je predstavljena u         hiljadama rečenica (K).


Korpusi srpskog jezika obeleženi prema vrsti reči uključuju četiri resursa: SrpKor4Tagging (Stanković et al. 2020) sa 60K, Intera (Gavrilidou et al. 2004; Stanković et al. 2020) sa 47,5K, 1984 (Krstev, Vitas, and Erjavec 2004) sa 6,7K i reldi_sr (Miličević and Ljubešić 2016) sa 5,5K rečenica.
Slična situacija je uočena kada je u pitanju šira jezička slika, gde je pronađeno još deset resursa (tabela 4), pri čemu se lista većinom sastoji od hrvatskih ekvivalenata istih, prethodno pomenutih obeleženih resursa.
 Ovi resursi obuhvataju obeleženi hrvatski prevod romana 1984, potom reldi_hr, NormTagNER-hr, hrvatski deo WikiAnn i polyglot_ner korpusa i hrvatske rečenice obeležene prema sentimentu iz mms korpusa.
Naziv Jez. Poreklo Anot. Vel Izdavač Čvor.     1984 hr literary POS 6,7 MULTEXT-East ELG     hr500k hr literary POS 9 ReLDi HF     reldi_hr hr web POS 7 ReLDi HF     NormTagNER-hr hr web POS, NER 8 ReLDi VLO     hr500k hr literary NER 25 ReLDi HF     wikiann-hr hr ∼textbook NER 40 Wikimedia HF     wikiann-sh sh ∼textbook NER 40 Wikimedia HF     polyglot_ner-hr hr mixed NER 630 Al-Rfou et al HF     mms-hr hr web sentiment 78 Brand24 HF     mms-bs bs web sentiment 36 Brand24 HF
Tabela 4. Korpusi obeleženog srpskohrvatskog teksta na istraženim     čvorištima skupova podataka, koji ne sadrže isključivo srpski jezik.
Jedini jedinstveni resurs sa ove liste je hr500k (Ljubešić et al. 2016), kojije obeležen sa NER oznakama (5 klasa) u celosti (25K rečenica), a samo delimično sa skupom oznaka Universal POS (9K rečenica).
Ukupno trinaest paralelnih resursa je pronađeno za srpski jezik (tabela 5), uključujući pet korpusa paralelnih prevoda, jedan korpus sa parovima tekst-rezime, jedan korpus parafraza, dva korpusa sa parovima pitanje-odgovor (QA) i četiri skupa podataka sa instrukcijama (parovi tekstualnih instrukcija i rešenja).

Naziv Jez. Poreklo Pair type Vel. Izdavač Čvor.         80 jours sr literary translation 3,7 JeRTeh ELG         biblenlp-sr sr literary translation 31 eBible HF         Intera sr mixed translation 47,5 META-SHARE ELG         OPUS-sr sr web translation 1000 Opus project HF         MacocuParallel-sr sr web translation 2000 Ba˜n´on et al HF         XL-Sum sr web summary 15 Hasan et al ELG         tapaco-sr sr ∼synthetic paraphrase 8 Scherrer, Yves HF         m_mmlu-sr sr synthetic QA 14,5 Alexandra Inst. HF         m_hellaswag-sr sr synthetic QA 9,5 Alexandra Inst.> HF         airoboros-3.0-sr sr synthetic instruction 46 draganjovanovich HF         open-orca-slim-sr sr synthetic instruction 515 DataTab HF         ultrafeedback-bin-sr sr synthetic instruction 63 DataTab HF         alpaca-cleaned-sr sr synthetic instruction 52 DataTab HF


Tabela 5. Korpusi isključivo srpskog jezika dostupni na istraženim         čvorištima skupova podataka.
 Veličina je predstavljena u hiljadama             reči(K).
Svi QA korpusi i korpusi sa instrukcijama su sintetičkog porekla i kreirani su pomoću mašinskog prevođenja postojećih korpusa na engleskom jeziku: m_mmlu-sr i m_hellaswag-sr su, redom, prevodi mmlu (Hendrycks et al. 2021) i HellaSwag (Zellers et al. 2019) uz pomoć GPT3.5;
Kada su u pitanju resursi koji nisu sintetički, pet korpusa paralelnih prevoda (prevodi sa engleskog) obuhvataju literarni korpus 80 jours (Vitas et al. 2008) sa 3,7K rečenica i biblenlp-sr, koji je izveden iz elektronske verzije Biblije sa 32K rečenica derived from the electronic version of the Bible with 31K senteces, paralelnu englesko-srpsku verziju Intera korpusa (47,5K rečenica), srpsko-engleski paralelni podskup Opus skupa podataka (Tiedemann 2012), koji obuhvata 1 milion rečenica, kao i paralelizovani podskup MaCoCu skupa podataka, MacocuParallel-sr (Ban´on et al. 2022), sa 2 miliona rečenica.
 Iako su dva veb korpusa mnogo veća po veličini, moguće je da će kod njih biti neophodno uklanjanje duplikata.
Jedini skup podataka sa sažecima je XL-Sum sa 15 hiljada parova tekstova i rezimea (Hasan et al. 2021).
Paralelni skupovi podataka koji nisu na srpskom predstavljeni su u tabeli 6 i sastoje se većinom od alternativnih podskupova istih resursa: englesko-hrvatski podskup skupa biblenlp, podskupovi OPUS skupa koji sadrže prevode sa srpskohrvatskog, hrvatskog i bosanskog na engleski, kao i podskupovi skupa MaCoCu Parallel, koji sadrže prevode sa crnogorskog, hrvatskog i bosanskog na engleski.
 Ovi skupovi čine većinu rečenica, kojih ima preko 5 miliona.
   Naziv Jez. Poreklo Vrsta para Vel. Izdavač Čvor.     biblenlp-hr hr literary translation 31 eBible HF     OPUS-sh sh web translation 271 Opus project HF     OPUS-hr hr web translation 1000 Opus project HF     OPUS-bs bs web translation 1000 Opus project HF     MacocuParallel-me cnr web translation 218 Ba˜n´on et al HF     MacocuParallel-hr hr web translation 2000 Ba˜n´on et al HF     MacocuParallel-bs bs web translation 500 Ba˜n´on et al HF     mfaq-hr hr web QA 5 CLiPS HF     exams-sh mixed textbook QA 5 Hardalov et al HF

    Tabela 6. Srpskohrvatski paralelni korpusi dostupni na istraženim     čvorištima skupova podataka, koji nisu isključivo na srpskom.
 Veličina         je prikazana u hiljadama rečenica (K).




Dva jedinstvena resursa sa ove liste su hrvatski podskup mfaq skupa podataka koji je sačinjen od 5K parova pitanja i odgovora sakupljenih sa veba (De Bruyn et al. 2021) i srpskohrvatski podskup exams skupa podataka koji sadrži 5K parova pitanja i odgovora preuzetih sa stvarnih testova sa učenicima (Hardalov et al. 2020).
 Uprkos relativno maloj veličini, ovi resursi su važni u premalo zastupljenoj grupi QA skupova podataka, gde su jedina alternativa sintetički prevodi.


U okviru ovog istraživanja predviđena su tri nova korpusa.
 Prvi (Kišobran) je novi i veći krovni korpus neobeleženog teksta koji će koji će obuhvatiti sve trenutno objavljene veb korpuse pod jednim entitetom.
 Izrada korpusa Kišobran je opisana u odeljku 3.1.
Novi srpskohrvatski krovni korpus, Umbrella corp. rezultat je objedinjavanja dvadeset postojećih korpusa koji su pregledani i razmatrani u ovom radu.
 Izbegavali smo korišćenje postojećih krovnih korpusa kao materijala kako bismo obezbedili mogućnost kasnije ekstrakcije određenog jezika, na primer srpskog dela korpusa, ali treba napomenuti da je većina korišćenih korpusa već bila deduplikovana kako u odnosu na druge korpuse sa liste, tako i interno.
Korpusi su dodatno prečišćeni i deduplikovani.
Nakon ove deduplikacije ukupan broj reči je smanjen za trećinu, sa 28 milijardi reči na 18,6 milijardi.
Ime Jez. Vel. pre Vel. posle Udeo srWaC Serbian 493 307 1,65% meWaC Montenegrin 80 41 0,22% hrWaC Croatian 1.250 935 5,01% bsWaC Bosnian 256 194 1,04% OSCAR-sr Serbian 632 410 2,20% cc100_hr Croatian 2.880 2,561 13,73% cc100_sr Serbian 711 659 3,53% CLASSLA-sr Serbian 752 240 1,29% CLASSLA-hr Croatian 1.341 160 0,86% CLASSLA-bs Bosnian 534 105 0,56% hr_news Croatian 1.433 1.426 7,65% mC4-sr Serbian 800 782 4,19% MaCoCu-sr Serbian 2.491 2.152 11,54% MaCoCu-cnr Montenegrin 161 152 0,82% MaCoCu-hr Croatian 2.363 2.355 12,63% MaCoCu-bs Bosnian 730 700 3,75% riznica Croatian 87 69 0,37% PDRS1.0 Serbian 602 506 2,71% SrpKorNews Serbian 469 469 2,51% HPLT-sr Serbian ∼5.015 2.562 9,95% HPLT-hr Croatian ∼5.015 1.856 13,74% Total 28,095 18.641 100%

Tabela 7. Lista korpusa korišćenih za izradu novog krovni korpusa, njihove veličine pre i posle čišćenja i deduplikacije i njihov udeo u finalnom korpusu.
 Veličine su predstavljene u milionima reči (M).


U domenu korpusa visokog kvaliteta (O2), doktorske teze predstavljaju veoma poželjan tip resursa zbog nekoliko faktora.
 Najpre, visoki akademski standardi u pogledu metodologije, podataka i jezičkog kvaliteta koje doktorska teza mora da zadovolji, kao i proces recenzije kroz koji prolazi, obezbeđuju pouzdan visok kvalitet podataka iz ovog tipa izvora.
 Zatim, pošto se od doktorske disertacije očekuje da predstavlja jedinstven naučni doprinos koji će dodatno unaprediti relevantnu naučnu oblast, korpus doktorskih disertacija zauzima jedinstvenu poziciju kada su u pitanju tematska raznolikost u različitim oblastima znanja i aktuelnost opisanih tema.
 Konačno, veliki broj doktorskih disertacija u otvorenom pristupu u NaRDuS repozitorijumu, činjenica da su određeni odeljci doktorskih disertacija standardizovani, kao i dostupnost strukturiranih metapodataka za svaku disertaciju na NaRDuS-u, čine ovaj resurs idealnim kandidatom za jedinstven, veliki i visokokvalitetni naučni korpus na srpskom.
NaRDuS je osmišljen u okviru strukturnog TEMPUS projekta 5440932013, RODOS.
 Na osnovu izmena i dopuna Zakona o Visokom obrazovanju („Službeni glasnik RS“, br. 99/2014, stupivši na snagu dana 19. 9. 2014), sve visokoobrazovne institucije imaju obavezu da učine doktorske disertacije dostupnim javnosti pre njihove odbrane, dok univerziteti imaju obavezu da obezbede digitalni repozitorijum sa otvorenim pristupom odbranjenim disertacijama.
 U skladu sa navedenim, platforma NaRDuS je u funkciji od septembra 2015. godine i zasnovana je na softveru DSpace, koji podržava OAI-PMH protokol za prenos metapodataka (Verbić, Suvakov, and Luzanin 2017).
 U trenutku pisanja ovog rada, na platformi NaRDuS se nalaze 13.289 doktorskih disertacija.
Kao prvi korak u kreiranju korpusa, kompletna lista disertacija je preuzeta sa mape sajta platforme NaRDuS,10 uz pomoć Pajton modula Requests, poštujući specifikacije stranice robots.
fulltext_url – U slučajevima kada je za jednu disertaciju bilo dostupno više linkova za preuzimanje (u koje je često bio uključen izveštaj komisije), svi PDF dokumenti sa linkova su preuzeti, broj stranica i linija je automatski dobijen korišćenjem modula PyMuPDF u Pajtonu, a odgovarajući link je odabran i sačuvan u ovom polju;

need_ocr – Pokušano je automatsko preuzimanje teksta pomoću modula PyMuPDF za prvih 10 stranica svake disertacije, da bi se procenilo da li su dokumenti sa odabranih URL-ova digitalno nastali ili zahtevaju dalje korake optičkog prepoznavanja znakova (OCR) i ručnu reviziju.
srpski – Ovo polje prikazuje da li su disertacije napisane na srpskom jeziku (vrednost yes) ili na nekom drugom jeziku (vrednost no), a jezik svakog od tektova je određivan ispitivanjem polja dc.language i dc.language.iso;


ARR – Ovo polje prikazuje da li su disertacije objavljene pod zaštićenom licencom – all rights reserved (ARR), što je utvrđeno pregledom polja dc.
rights.
license u metapodacima.
Ova četiri polja su korišćena za filtriranje odgovarajućih disertacija-kandidata za ovu verziju korpusa.
 Izabrali smo one gde je bilo moguće dobiti se odgovarajući PDF mogao dobiti pomoću polja fulltext_url, koji su napisani na srpskom (srpski=yes), koji ne zahtevaju OCR (ocr=no), i koji nisu objavljeni pod licencom all rights reserved.
 Ovo filtriranje je urađeno da bi se izdvojili samo tekstovi na srpskom jeziku i kako bi se osigurala usklađenost sa licencama autorskih prava.
Nakon primene ovog kriterijuma, ostalo je 11.624 disertacije, što je predstavljalo oko 87,5% svih disertacija u NaRDuS-u.







Na kraju, ceo tekst iz svake od ovih disertacija je izdvojen uz pomoć modula PyMuPDF i sačuvan u obliku tekstualnih datoteka, koje su korišćene za izgradnju korpusa.
 Samo linije koje su bile deo pasusa teksta su zadržane u sastavljanju finalnog korpusa, što je rezultiralo korpusom sa preko 560 miliona reči.


S obzirom na to da su paralelni jezički resursi, posebno za manje rasprostranjene jezike (kao što je srpski), relativno retki, paralelni korpusi su manji, ali i manje brojni u odnosu na jednojezične korpuse.
 Pošto su sažeci srpskih doktorskih disertacija napisani na srpskom i engleskom jeziku, oni predstavljaju vredan veliki i kvalitetan resurs za kreiranje paralelnog srpsko-engleskog korpusa naučnog jezika.
 Međutim, naslov, format i lokacija sažetaka unutar dokumenta značajno variraju u zavisnosti od naučne institucije.
S obzirom na to da metapodaci za većinu disertacija u NaRDuS-u sadrže delimične sažetke na oba jezika, Pajton skripta je korišćena za nalaženje početka oba sažetka (prvih 6 reči) u prvoj grupi dokumenata.
 Ukoliko disertacija nije imala delimičan sažetak u metapodacima ili je pretraga bila neuspešna, nalaženje početka sažetka je pokušano pomoću regularnih izraza koji su odgovarali mogućem naslovu odeljka sažetka.
 Pošto su informacije u ovom odeljku uvek bile predstavljene sledećim redom:
 1) sažetak, 2) ključne reči, 3) naučna oblast (za oba jezika), primenjen je pristup koji je koristio regularne izraze za identifikovanje kraja svakog segmenta i početka narednog, nakon čega su sa ovim informacijama ažurirani postojeći metapodaci disertacije.





Za drugu grupu, u kojoj su željeni odeljci bili prisutni u delu Ključna dokumentacijska informacija, isti pristup je primenjen, uz korišćenje drugačijih regularnih izraza za segmente tabela.
Evaluacija podataka u okviru ovog rada fokusira se samo na korpuse neobeleženog teksta na srpskom jeziku, a sama evaluacija se vrši kroz grubu procenu jedinstvenosti svakog korpusa, odnosno procene koliko se on razlikuje od ostalih.
 Da bismo procenili aspekt jedinstvenosti, odlučili smo da sprovedemo evaluaciju zasnovanu na učestalosti reči, inspirisanu postojećim eksperimentom (Rayson and Garside 2000).
srWaC     cc100_sr     mC4_sr     OSCAR-sr     CLASSLA-sr     MaCoCu-sr     PDRS1.0     SrpKorNews     SrpELTeC     S.T.A.R.S.     srWaC 0,93 0,88 0,95 0,98 0,79 0,72 0,87 0,36 0,71     cc100_sr 0,93 0,91 0,91 0,90 0,92 0,75 0,93 0,44 0,62     mC4_sr 0,88 0,91 0,84 0,87 0,84 0,78 0,88 0,50 0,61     OSCAR-sr 0,95 0,91 0,84 0,94 0,78 0,70 0,82 0,37 0,69     CLASSLA-sr 0,98 0,90 0,87 0,94 0,75 0,71 0,85 0,34 0,70     MaCoCu-sr 0,79 0,92 0,84 0,78 0,75 0,71 0,89 0,48 0,52     PDRS1,0 0,72 0,75 0,78 0,70 0,71 0,71 0,73 0,47 0,47     SrpKorNews 0,87 0,93 0,88 0,82 0,85 0,89 0,73 0,42 0,56     SrpELTeC 0,36 0,44 0,50 0,37 0,34 0,48 0,47 0,42 0,22     S,T,A,R,S, 0,71 0,62 0,61 0,69 0,70 0,52 0,47 0,56 0,22     Average 0,80 0,81 0,79 0,78 0,78 0,74 0,67 0,77 0,40 0,57

Tabela 8. Matrica sličnosti srpskih korpusa neobeleženog teksta     dostupnih na ispitivanim čvorištima skupova podataka, zasnovana na     učestalosti reči.
 Vrednosti predstavljaju kosinusne sličnosti podignute         na deseti stepen, dobijene poređenjem vektora učestalosti reči iz skupova         karakteristika.

Iz predstavljenih rezultata je evidentno da je najjedinstveniji korpus prema učestalosti reči SrpELTeC, sa prosečnom sličnošću od 0,40, posebno u poređenju sa ukupnom prosečnom sličnošću od 0,71.
Novi korpus, S.T.A.R.S., je drugi po udaljenosti od svih ostalih korpusa pojedinačno i u proseku, što ga čini drugim najjedinstvenijim korpusom (prosečna sličnost od 0,57).
 Ono što je posebno zanimljivo jeste da su dva korpusa sa najmanjom međusobnom sličnošću upravo S.T.A.R.S. i SrpELTeC, sa sličnošću od samo 0,22, što ih stavlja na suprotne krajeve spektra,
 dok se veb korpusi grupišu u sredini, što je posebno vidljivo na dvodimenzionalnoj reprezentaciji matrice sličnosti. (slika 2).

Slika 2. Jedinstvenost korpusa vizualizovana kroz dvodimenzionalnu     reprezentaciju matrice sličnosti korpusa u vidu grafa mreže, gde ivice     predstavljaju udaljenosti između svakog korpusa, a boje predstavljaju spektar     grupisanja.

Ovaj rad pruža pregled tekstualnih korpusa za srpski (i srpskohrvatski) jezik koji su javno dostupni (na čvorištima Hugging Face, European Language Grid i CLARIN VLO) u sledećim kategorijama:
– Korpusi neobeleženog teksta – uglavnom veb porekla, sa izuzetkom književnog korpusa SrpELTeC;
– Obeleženi korpusi – različitog porekla, primarno obeleženi sa POS i NER informacijama;
Utvrdili smo da velika većina dostupnih korpusa neobeleženog teksta potiče sa veba, i da postoji više napora njihove deduplikacije, ali nijedan trenutno ne obuhvata sve korpuse.
Takođe smo sproveli evaluaciju zasnovanu na frekvenciji reči koja ukazuje na jedinstvenost disertacija u trenutnoj paradigmi, gde je pokazano da imaju relativno nisku sličnost sa drugim dostupnim korpusima, naročito sa književnim korpusom SrpELTeC, dok se veb korpusi (koji imaju visoku međusobnu sličnost) nalaze u sredini (slika 2).


Pored toga, rad predstavlja novi krovni veb korpus za srpski i srpskohrvatski jezik nazvan Umbrella corp.
, koji objedinjuje sve trenutno dostupne veb korpuse neobeleženog teksta u planiranom jezičkom obimu.
Računarski resursi neophodni za deduplikaciju korpusa Umbrella corp.
