SAŽETAK: 
U radu se sa teorijskog i praktičnog aspekta analizira proces obrazovanja i obrade korpusa tekstova jugoslovenskih rok pesama od 1967-2003. 
Za preuzimanje građe i XML anotiranje korišćene su biblioteke lyricsmaster i yattag u jeziku Python. 
Korpus je prošao fazu preprocesiranja, a XSL transformacijom generisani su osnovni statistički podaci. 
U aplikacijama Slovo Majstor i LeXimir sprovedena je restauracija dijakritika (a u drugoj aplikaciji i frekvencijska analiza). 
Pronalaženje društveno-političkih tema vršeno je u softveru Unitex, dok su preovlađujuće teme vizualizovane u TreeCloud aplikaciji.  
KLjUČNE REČI: korpusna lingvistika, jugoslovenski rokenrol, grebanje veba, obrada prirodnih jezika, kopanje po tekstu.  
Muzički analitičari, sociolozi i antropolozi se jednoglasno slažu u oceni da je jugoslovenski rokenrol (poznatiji i kao Yu rok) ostavio dubokog traga na prostorima bivše Jugoslavije. 
U pitanju je muzički stil koji je začet 1961. godine, sa pojavom grupa Uragani, Bijele Strijele i Siluete, a tokom iste decenije osnovani su i sastavi Crveni Koralji (1962), Zlatni Dečaci (1962) i Korni Grupa (1968) (Janjatović, 1998). 
Yu rok se razvijao uporedo sa procvatom britanske beat scene (Raković, 2011), koju su proslavili bendovi The Beatles i The Rolling Stones (Cooper and Cooper, 1993). 
Krajem pedesetih i početkom šezdesetih godina, rokenrol se u Jugoslaviji poistovećivao sa rokenrol i tvist plesom, a ne sa muzičkim žanrom (Raković, 2011).  
Od 1963. godine, rokenrol u SFRJ stiče status žanra, koji se od tada izvodi prvenstveno pomoću električnih gitara, električnih bas gitara i bubnjeva (Raković, 2011). 
Klasični rok i rokabili su predstavljali veoma popularne muzičke forme među Jugoslovenima, što potvrđuju i obrade pesama Elvisa Preslija, Badija Holija, Čaka Berija i dr. (Arsenijević et al., 2016). 
Sedamdesete godine su donele upliv hipi pokreta, uz dodatno žanrovsko raslojavanje i pojavu hard-roka, progresivnog roka, art-roka i drugih podžanrova. 
Kraj sedamdesetih i početak osamdesetih godina obeležili su pank i novi talas, po uzoru na angloameričke izvorne varijante (Arsenijević et al., 2016). 
Zapravo, jugo-rok je pronašao svoje mesto u društvu koje je sa oduševljenjem prihvatilo proizvode zapadne kulture, kako posredstvom domaćih časopisa (na primer Rock i Džuboks) i stranih radio emisija emitovanih na Radiju Luksemburg, vojnim i piratskim stanicama, tako i u vidu filmova iz zemalja Zapada. 
Takođe su se pratili i zapadnjački modni trendovi koji su diktirali, između ostalog, nošenje duge kose kod mladića ili mini-sukanja kod devojaka (Raković, 2018).  
Ipak, ono po čemu se Yu rok posebno isticao bili su slobodarski tekstovi, posebno karakteristični za pank i novotalasnu muziku. 
Naime, sadržaj tekstova je neretko bio politički angažovan, ironičan ili, pak, vulgaran, pa je samim tim i tretiran kao nepodoban za tadašnje jugoslovenske društvene prilike (Gajić, 2018). 
Dokaz da nije reč o izolovanoj pojavi predstavlja i sistematizacija slučajeva (auto)cenzure u Yu roku. 
Sa druge strane, brojne pesme toga doba opevale su otadžbinu, dok su u nekima bile prisutne i partizanske ili brigadirske konotacije (Božilović, 2016). 
Božilović dodaje da srž Yu roka čini bunt i borba rok izvođača za demokratiju, koja je pretočena u nekonvencionalne, jednostavne, neposredne i improvizovane muzičke forme i tekstove. 
Međutim, Yu rok, poput svog zapadnjačkog ekvivalenta, iznedrio je i umetnike koji su lične životne stavove sublimirali u tekstove pesama sa lirskim, filozofskim i introspektivnim tonom (na primer grupe Azra, Idoli ili Ekatarina Velika).  
Prema saznanjima autora, studije jugoslovenskog rokenrola su se do sada zasnivale prevashodno na teoretskim razmatranjima, bez primene računarskih tehnologija (neki od takvih radova navedeni su u odeljku 1.1). 
Zörnig et al. (2016) sproveli su jedino istraživanje koje se bavilo kvantitativnom analizom tekstova pesama iz ere jugoslovenskog rokenrola. 
Deo korpusa u navedenom radu čine tekstovi pesama sastava Riblja Čorba i njegovog frontmena, Bore Đorđevića. 
U istom radu izložen je postupak računanja frekvencija reči i leksičkog varijabiliteta korišćenjem prvenstveno metrika relative repeat rate i h-point, što je omogućilo klasifikaciju korpusnih tekstova pomoću multivarijacione analize.  
Sa druge strane, automatsko preuzimanje tekstova pesama sa veba, njihova elektronska obrada i analiza dobijaju sve više pažnje, o čemu svedoči i veliki broj projekata i radova. 
Postoji veliki broj korpusa tekstova stranih pesama, na primer The Million Song Dataset3 (Bertin-Mahieux et al., 2011), koji se mogu koristiti u istraživanjima računarske analize teksta. 
Do sada je vršeno generisanje lista najučestalijih reči u anotiranim korpusima tekstova pop (Kreyer and Mukherjee, 2007) i rok pesama (Falk, 2013), a sprovedeno je i modelovanje tema u libretu pekinške opere (Zhang et al., 2017) i korpusu tekstova numera prikupljenih sa sajta SongMeanings (Lukic, s.d.).  
Kada je reč o tekstovima pesama iz domena roka ili srodnih žanrova, računarska analiza njihovog sadržaja predstavlja perspektivnu i izuzetno razvijenu naučnu praksu. 
Neki zanimljivi rezultati koje su ove tehnike proizvele jesu ekstrakcija strukture tekstova pesama grupe The Beatles (Mahedero et al., 2005) ili smeštanje tekstova pesama Pola Makartnija i Džona Lenona na grafik emocionalnog sata (engl. emotion clock, u radu (Whissell, 1996)). 
Istraživanje koje su sproveli Petrie et al. (2008) je još jedan primer interesovanja za računarsku obradu tekstova Bitlsa. 
Ovo istraživanje bavi se promenom dominantnog raspoloženja u tekstovima njihovih pesama, a korišćenjem stilometrijske analize otkriva stilističke sličnosti i razlike između Lenona, Makartnija i Džordža Harisona, kao tekstopisaca.  
Falk (2013) donosi rezultate dijahronijske analize lingvističkih osobenosti u korpusu tekstova stranih rok pesama od 1950. zaključno sa 1999. godinom, na osnovu najfrekventnijih reči korišćenih u svakoj deceniji. 
Haslam (2017) prati evoluciju tematskih motiva u pesmama kantautora Leonarda Koena, što je vizualizovano u vidu oblaka reči (engl. word cloud). 
Sa stanovišta korpusne lingvistike, Taina et al. (2014) istražuju jezičke činioce po kojima se razlikuju tekstovi pesama iz različitih hevi-metal podžanrova. 
Alati koji se koriste u psihometrijskim istraživanjima radi računanja povezanosti teksta (Coh-Metrix)4 i otkrivanja emocionalnih, kognitivnih i strukturalnih osobina prisutnih u tekstu (Linguistic Inquiry and Word Count)5 primenjeni su u pokušaju uporedne analize tekstova u rok, folk, kantri, pank i grandž pesmama (Lightman et al., 2007). 
Cilj tog istraživanja jeste otkrivanje razlika u stilu pisanja izvođača koji su izvršili samoubistvo, i onih koji nisu bili suicidni. 
Tematski udaljeniji, ali metodološki blizak ovom istraživanju je rad koji se bavi tehnikama automatskog pronalaženja polileksemskih jedinica u tekstovima drevnih religioznih hindu poema pomoću lokalnih gramatika (engl. local grammars) u softveru Unitex6 (Stein, 2012).  
Po svemu sudeći, analiza tekstova jugoslovenskih rok pesama sa stanovišta računarske lingvistike čini se kao nedovoljno razvijena oblast istraživanja. 
Iz tog razloga, ovaj rad nastoji da sagleda Yu rok pesme kroz prizmu interdisciplinarnosti, kako bi se postojeća tumačenja žanra potkrepila rezultatima proizvedenim pomoću računarskih alata za obradu korpusa.  
Jedno od težišta rada je na primeni tehnika korpusne lingvistike. 
Korpusna lingvistika predstavlja razvijenu naučnu metodologiju, dok je mnogi stručnjaci smatraju i disciplinom, teorijom, paradigmom i alatom (Taylor, 2008). 
Ovaj metodološki pristup bavi se rukovanjem strukturiranim, mašinski čitljivim i namenski biranim tekstovima, koji predstavljaju osnovu za analizu različitih aspekata jezika i njegove upotrebe. 
U opštem kontekstu korpusne lingvistike, „namenski birani tekstovi” podrazumevaju kolekciju određenih tekstualnih jedinica koje su uzorkovane radi ostvarivanja reprezentativnosti korpusa. 
Učestalost korišćenja određene reči ili fraze, njihovo pronalaženje u kontekstu kroz generisanje konkordance (engl. concor-dance), ili ekstrakcija metapodataka (na primer imena autora teksta, datuma objavljivanja, jezika na kome je tekst napisan i slično) iz anotiranog korpusa samo su neki od mogućih zadataka korpusne lingvistike (McEnery and Hardie, 2012).  
Korpusna građa tekstova Yu rok pesama prikupljena je primenom tehnike grebanja veba (engl. web scraping). 
Algoritmi za automatsko prikupljanje, preprocesiranje i anotiranje korpusa u skladu sa XML sintaksom implementirani su u programskom jeziku Python, korišćenjem biblioteka lyricsmaster, xml.sax.utils i yattag. 
XSLT transformacija XML dokumenta u XHTML format omogućava pregled statističkih podataka o korpusu.8 Automatska restauracija dijakritika vršena je u aplikacijama Slovo Majstor9 i LeXimir. 
Metode korpusne lingvistike i obrade prirodnih jezika primenjene su radi frekvencijske analize tokena i kolokacija korišćenjem LeXimir-a, a u softveru Unitex konstruisan je konačni automat (engl. Finite State Automation) za ekstrakciju društveno-političkih i kulturoloških tema. 
Upotrebljen je i alat TreeCloud (Gambette and V´eronis, 2009) za vizualizaciju preovlađujućih tema u korpusu, u okviru tehnike kopanja po tekstu (Kešelj and Šipka, 2008) ili iskopavanja iz teksta11 (engl. text mining), koja se zasniva na otkrivanju tekstualnih obrazaca u nestrukturiranim podacima.  
Rad se sastoji od pet odeljaka. 
U uvodnom delu razmotrene su osnovne odlike Yu roka, relevantni radovi na temu računarske obrade tekstova domaćih i stranih pesama, kao i metode istraživanja korišćene u ovom radu. 
Odeljak 2 posvećen je opisu postupka automatskog prikupljanja građe za korpus Yu rok pesama. 
U odeljku 3 predstavljen je postupak poluautomatskog12 preprocesiranja i anotiranja korpusa. 
Konkretni rezultati primene korpusa izloženi su u odeljku 4, dok odeljak 5 donosi zaključne komentare i smernice za budući rad.  
Uže područje istraživanja predstavljenog u ovom radu jeste računarska izrada i analiza korpusa tekstova jugoslovenskih rok pesama, nastalih u doba dveju jugoslovenskih država – Socijalističke Federativne Republike Jugoslavije (1945-1992) i Savezne Republike Jugoslavije (1992-2003). 
Što se tiče kriterijuma prikupljanja građe, korpus čine tekstovi numera na nekadašnjem srpskohrvatskom jeziku, koji je standardizovan Bečkim književnim dogovorom 1850. godine, da bi se sa raspadom Jugoslavije 1991. razložio na srpski, hrvatski i bosanski jezik (Hentschel, 2003). 
U skladu sa tim, pretraživali smo tekstove pesama na pomenutim trima jezicima, dok su tekstovi pesama na drugim jezicima koji su bili u upotrebi u Jugoslaviji – makedonskom, slovenačkom i jezicima manjina – izostavljeni.  
Kada je reč o metodi grebanja veba, ona se odnosi na upotrebu određene računarske alatke za direktno preuzimanje digitalizovanog sadržaja. 
Suština ove prakse može se opisati kao automatizacija sveobuhvatnog i relativno brzog ekstrahovanja i skladištenja podataka sa veba. 
Grebanje veba nameće se kao daleko efikasnije rešenje u odnosu na metode ručnog kopiranja i čuvanja svake informacione jedinice ponaosob. 
Osim toga, navedena tehnika može predstavljati i jedino moguće rešenje za ekstrakciju podataka u slučaju kada su opcije „copy/paste“ onemogućene u veb čitaču.  
LyricWiki predstavlja komercijalni muzički veb sajt koji skladišti tekstove pesama domaćih i stranih izvođača. 
Sajt je pretraživ prema imenu izvođača, albuma, pesama, žanrova i producentskih kuća. 
Dostupne su i razne liste, poput lista najpopularnijih albuma iz određene godine prema mišljenju urednika uglednih muzičkih časopisa, i lista albuma sa muzikom iz filmova, kao i obilje drugih tekstualnih sadržaja u oblasti muzike. 
Kako je navedeno u opisu ovog sajta, LyricWiki je javno dostupan i ima dozvolu za objavljivanje pouzdanih tekstova pesama.  
Baza podataka sajta skladišti više od 2.054.289 tekstova (podatak od 15.06.2019). 
Budući da LyricWiki sadrži relativno veliki broj pesama na srpskom i nekadašnjem srpskohrvatskom jeziku, u početnoj fazi istraživanja (dok je sajt još uvek bio otvoren za uređivanje) preuzimani su tekstovi u izvođenju odabranih muzičara iz bivše Jugoslavije. 
Razlog više za odabir ovog sajta za grebanje tekstualnih podataka jeste činjenica da se sa njega mogu preuzimati tekstovi preko namenskog API-ja, to jest modula LyricWiki biblioteke lyricsmaster u jeziku Python, o kojoj će biti više reči u narednom odeljku.  
Automatsko preuzimanje tekstova pesama sa interneta predstavlja efikasnu i relativno često korišćenu metodu koja prethodi elektronskoj analizi korpusa. 
Jedan od reprezentativnih primera takve prakse jeste upotreba programske biblioteke lyricsmaster, koja je dostupna na veb strani PyPI repozitorijuma16 programskih paketa za rad u jeziku Python. 
Pomoću navedenog API-ja mogu se prikupiti tekstovi pesama sa nekih od najpopularnih muzičkih sajtova (u daljem tekstu: provajdera), kao što su AZLyrics, Genius i dr. 
Na istoj strani demonstrirano je korišćenje navedenog alata da bi se direktno preuzeli i sačuvali tekstovi pesama američkog repera Tupaka Šakura, koji su dostupni na sajtu LyricWiki. 
Radi anonimizacije IP adrese korisnika, postoji opcija grebanja sajta preko Tor Proxy Server-a.  
Implementacija pomenute biblioteke rezultovala je automatskim ekstrahovanjem tekstualnog sadržaja sa različitih stranica sajta LyricWiki, pri čemu je svaka od tih strana posvećena nekom od popularnih jugoslovenskih izvođača čiji tekstovi pesama su preuzimani. 
Naime, definisanom funkcijom za grebanje veba i korišćenjem metode get_lyrics() klase lyricsmaster.providers.LyricWiki(tor_controller=None) pronalažene su željene stranice, sa kojih su prikupljani jedino tekstovi pesama, a ne i drugi sadržaji na istim stranama (na primer podaci u zaglavlju ili na bočnoj traci veb strane). 
Konstruisan je algoritam koji je sa tih strana preuzimao sadržaje tekstova prema imenima izvođača, i to na sledeći način:  
1. Najpre je za provajdera tekstova odabran sajt LyricWiki;  
2. Zatim je promenljivom izvodjaci definisana lista od trideset izvođača čiji se tekstovi pesama prikupljaju. 
Imena izvođača referenciramo tačno onako kako su navedena na sajtu (na primer umesto ‘Yu-Grupa‘, ‘yu grupa‘, i slično, jedino je dozvoljen unos niske ‘YU Grupa‘). 
Ovo se odnosi i na slučajeve u kojima dva izvođača dele isti naziv (na primer srpska i finska grupa Negative). 
Urednici LyricWiki-ja su napravili razliku između navedenih grupa tako što su srpskom sastavu dodali odgovarajuću oznaku „RS” za zemlju porekla, kako bi se znalo da je reč o bendu iz Republike Srbije, pa je u kod za grebanje veba unet modifikovan naziv Negative (RS);19  
3. Kreirana je funkcija korpus() čiji argumenti su elementi navedene liste izvođača, i za svakog od njih je pokušano preuzimanje tekstova pomoću metode get_lyrics();  
4. Potom su formirani objekti discography, album i song, dok su uvođenjem parametara title i lyrics dobijeni naslovi albuma (album.title), pesama (song.title) i sami tekstovi pesama (song.lyrics);  
5. Nakon toga, preuzeti korpusni materijal čuvan je na lokalnoj memoriji računara metodom save(), koja je primenjena na objekte discography, album i song. 
Podrazumevana apsolutna putanja jeste /[user]/Documents/LyricsMaster/, a sami tekstovi su sačuvani u direktorijumu /izvodjac/album/ u formatu pesma.txt.  
Na LyricWiki stranama sa tekstovima pesama određenih izvođača (na primer YU grupe) većina naslova bila je formatirana u vidu hiperveza koje upućuju na strane sa dostupnim tekstovima. 
Ipak, za nekolicinu naslova uopšte nisu bili kreirani tekstualni sadržaji (na primer za pesmu „Čovek i Marsovac“), uprkos formalnom postojanju naslova, što je izazivalo obustavljanje rada algoritma. 
Radi rukovanja izuzecima, uveli smo iskaz try za detekciju greške na onom mestu gde je uočen problem. 
Iskazu smo pridodali odredbu except i iskaz continue koji otklanjaju greške i omogućavaju programu da nastavi sa daljim radom. 
Navedene greške sumirane su u tabeli 1:  
Za određene sastave i solo izvođače (Riblju Čorbu, Ekatarinu Veliku, Azru, Film, Džibonija, Đorđa Balaševića i dr.) nije bilo moguće prikupiti tekstove pomoću lyricsmaster-a, bilo zbog onemogućenog pristupa podacima ili usled nepostojanja tekstova pesama za datog izvođača na sajtu LyricWiki. 
Takođe, u fazi prikupljanja tekstova došlo se do zaključka da bi korpus trebalo da sadrži tekstove pesama ženskih izvođača, ali za određene ženske izvođače čiji se muzički stil može okarakterisati kao „rok“ (Kaliopi, Slađana Milošević i slično) nije bilo moguće automatski preuzeti tekstove sa istog sajta. 
Sa druge strane, neki izvođači se uopšte nisu nalazili u bazi podataka, a samim tim ni njihovi tekstovi (kao što je to slučaj sa Majom Odžaklijevskom).  
Kako bismo nadomestili ovaj nedostatak, primenili smo alternativne kriterijume za naknadni odabir izvođača tako što smo proširili žanrovski opseg koji će biti pokriven našom građom. 
Preciznije, uključili smo u korpus i pop izvođače (na primer Ninu Badrić i Zanu) u čijim muzičkim aranžmanima se zapažaju uticaji rok muzike. 
Pored toga, dodali smo Madam Piano i Gorana Karana. 
Korpus predstavljen u ovom radu sastoji se od pesama izvođača navedenih u tabeli 2:  
Najstariji album u korpusu jeste Naše doba (1967) grupe Indeksi; sa druge strane, najskorije objavljeni albumi zastupljeni u istoj građi jesu albumi Od neba do neba grupe Divlje Jagode, odnosno Collection Nine Badrić (oba izdata 2003).  
Izvršavanjem koda za grebanje veba formirana je hijerarhijski organizovana struktura podataka, odnosno stablo direktorijuma sa svojim korenom i granama. 
Tako dobijenu drvoliku organizaciju korpusa možemo predstaviti u vidu izvoda sa komandne linije operativnog sistema, nakon pokretanja koda u programskom jeziku Bash: alias tree="find . -print | sed -e ’s;[^/]*/;|____;g;s;____|; |;g’" 
Na slici 1 dat je parcijalni prikaz navedene strukture koji je preuzet sa aplikacije Terminal na operativnom sistemu macOS, nakon što je prethodno izvršena navigacija do direktorijuma LyricsMaster, gde je smešten korpus tekstova:  
Kao što se može zaključiti na osnovu slike 1, koreni direktorijum nosi podrazumevani naziv „LyricsMaster”, unutar kojeg su smešteni direktorijumi sa nazivima izvođačˆa (na primer Mirzino Jato ili YU Grupa). 
Zatim se za svakog izvođača navode nazivi albuma (Šećer i med, YU Grupa, Rim 1994, i tako dalje), u kojima su sadržani tekstovi pesama u .txt formatu, ujedno i krajnji čvorovi u strukturi drveta (na primer „Apsolutno tvoj”, „Crni leptir” i tako dalje). 
Među navedenim podacima formalno se javlja i datoteka „.DS_Store”, koja nije ni od kakvog značaja za dalju obradu i analizu korpusa, i koja će stoga u kasnijim fazama biti eliminisana. 
Nakon procedure grebanja sajta, prikupljeni sadržaji tekstova u .txt formatu, koji su uskladišteni u zasebnim direktorijumima, u narednoj etapi pripreme korpusa objedinjeni su u jedinstvenu XML datoteku i anotirani.  
Pre automatskog generisanja korpusa u XML formatu, sastavljena je deklaracija tipa dokumenta (skr. DTD), koja specifikuje logičku strukturu XML dokumenta, na koju se on referiše, i u odnosu na koju se proverava njegova validnost. 
Ovaj korak je takođe važan jer predstavlja preduslov za dalju obradu XML dokumenta, poput generisanja osnovnih statističkih podataka iz njega u preglednom XHTML formatu korišćenjem XSLT procesora, o čemu će biti reči u odeljku 4.1. 
U validnom XML dokumentu korpusa, primera radi, DTD deklariše da koreni element <exYuPesme> može imati više autora, ali da je njegova vrednost atributa fiksirana prazna niska. 
<?xml v e r s i o n ="1.0" e n c o d i n g="UTF 8"?> <?xml s t y l e s h e e t type=" t e x t / x s l " h r e f ="t a b e l e c s s c l a s s e s . x s l "?> <DOCTYPE exYuPesme [ <!ELEMENT exYuPesme ( a u t o r)+> <!ATTLIST exYuPesme xmlns CDATA #FIXED ’’< ... ] 
Prvi korak u procesu generisanja XML dokumenta predstavlja primena modula os sa metodom listdir(), iz standardne programske biblioteke jezika Python. 
Kada se metoda pozove iz korenog direktorijuma „LyricsMaster,“ ona vraća listu direktorijuma, to jest imena izvođača. 
Da bi se prikupili nazivi poddirektorijuma (naslovi albuma datog izvođača) i datoteka (nazivi pesama na tim albumima), bilo je potrebno formatirati niske sa apsolutnim putanjama pomoću format() funkcije. 
Krajnji delovi putanja, to jest sve ono što se nalazi iza poslednje kose crte – osnovni naziv (engl. base name), predstavlja vrednosti traženih kategorija. 
U tom postupku korišćene su dve funkcije os.path modula: pomoću funkcije join(), elementi liste direktorijuma i datoteka spojeni su sa krajevima tekućih putanja direktorijuma, kako bi se pristupilo tim elementima. 
Druga funkcija, isfile(), kombinovana je sa iskazima kontrole toka if i if not kako bi se ispravno utvrdilo da li se generiše lista direktorijuma ili datoteka. 
Ilustracije radi, u nastavku su date putanje na osnovu kojih možemo ekstrahovati ime grupe Smak, naslov njihovog albuma Crna dama i pesmu sa tog albuma – „Daire“: 
../../LyricsMaster/Smak ../../LyricsMaster/Smak/Crna-Dama ../../LyricsMaster/Smak/Crna-Dama/Daire.txt 
Zatim su učitani sami tekstovi pesama pomoću funkcija open() i read(), pri čemu je zadržana stihovna struktura tekstova koja sadrži nove redove korišćenjem funkcije split(’\n’)[:-1]. 
Suština celokupne opisane procedure jeste mogućnost pravilnog raspoređivanja podataka prilikom anotiranja datoteke u XML jeziku.  
U korpusu je zapažen izvestan broj tekstova pesama napisanih isključivo na stranim jezicima. 
Budući da je tema ovog rada obrada korpusa tekstova na srpskom, odnosno srpskohrvatskom jeziku, izvršeno je ručno uklanjanje navedenih numera ili, pak, čitavih albuma iz korpusnih direktorijuma. 
U ovom odeljku navodimo neke karakteristične primere prečišćavanja korpusa. 
Konkretno, izbačene su pesme na grčkom, makedonskom, romskom, engleskom, portugalskom i poljskom jeziku. 
Specifičan slučaj predstavlja prisustvo višejezičnosti u tekstovima pesama Gorana Bregovića kao solo izvođača, koji je i autor pesama [KŁrna mac], sa albuma Alkohol: šljivovica & champagne; „7/8 & 11/8“, „Ederlezi“, „TV screen“, „Ausˆencia“ (album Ederlezi) i „To nie ptak“ (Kayah & Bregović). 
Na albumu sa muzikom iz filma Arizona Dream sve pesme su na engleskom jeziku, tako da je i on uklonjen.  
Iz korpusa su takođe isključeni tekstovi pesama koji su greškom pripisani nekom autoru. 
Primera radi, među tekstovima numera na LyricWiki strani Nine Badrić nalazi se i pesma „Ubila si del mene“, koja pripada slovenačkom boy bendu Game Over. 
Kragujevačkoj grupi Smak takođe su pogrešno dodeljene dve pesme (“Muistoja” i “Myrsky”) istoimene grupe iz Finske. 
Pored toga, na albumu Zaˇsto ne volim sneg grupe Smak pojavljuje se i nekoliko instrumentalnih numera. 
Nisu u obzir uzete ni pesme za koje LyricWiki još uvek nema sadržaj (umesto kojeg se javljaju tri tačke), kao u slučaju numere „Ne mogu da kapiram“, benda Partibrejkers. 
Takođe su se javili i duplikati jednog teksta pod različitim naslovima. 
Primera radi, za grupu Zabranjeno Pušenje zadržan je tekst za pesmu „Počasna salva“ sa tim naslovom, dok su duplikati sa lažnim naslovima „Manijak“, „Vuk“ i „Ujka Sem“ brisani.  
Naročitu pažnju je trebalo obratiti na odabir pesama sa koncertnih ili kompilacijskih albuma. 
Naime, prvobitno je zamišljeno da se takvi direktorijumi odmah odstranjuju, jer je bilo očekivano da će se u njima nalaziti numere koje već postoje u korpusu. 
Ipak, uočeno je prisustvo određenog broja neobjavljenih numera na koncertnim albumima (na primer „Na vrhovima prstiju“ sa albuma Neka svemir čuje nemir grupe Bajaga i Instruktori). 
Sa albuma najvećih hitova Nine Badrić (Collection) zadržan je mali broj jedinstvenih pesama. 
Još jednu vrstu duplikata predstavljale su i neke obrade pesama, kao za pesmu „Tako ti je mala moja kad ljubi Bosanac“ Bijelog Dugmeta iz 1975. godine, koju je obradila grupa Zabranjeno Pušenje 1998. godine.  
Yattag predstavlja programsku biblioteku za rad u jeziku Python kojom se automatski mogu dodavati HTML i XML etikete prilikom strukturiranja dokumenata. 
Ovaj API automatski dodaje otvorene i zatvorene izlomljene zagrade, i svaki početni tag praćen je zatvorenim tagom. 
Na ovaj način, anotator može brže i lakše obeležavati tekstove, jer program smanjuje mogućnost javljanja sintakstičkih grešaka. 
Yattag kroz modul indent takođe podržava i automatsko uvlačenje prema opštoj hijerarhijskoj strukturi XML dokumenta, pri čemu se veličina uvučenog prostora može modifikovati. 
Budući da je postupak anotacije trebalo sprovesti na velikom korpusu, ideja je bila iskoristiti funkcionalnosti navedene biblioteke radi efikasnijeg obeležavanja u skladu sa definisanim pravilima označavanja sadržaja tekstova. 
Ta pravila podrazumevala su uključivanje XML etiketa elemenata i atributa za opisivanje odgovarajućih delova sadržaja korpusa po sledećem postupku: 
– Koreni element definisan je etiketom <exYuPesme>; 
– Autori, odnosno izvođači, definisani su elementom <autor>, čiji su atributi ime, brojAlbuma, pol, zanr, rodnoMesto (tekstopisci se ne beleže, jer se ne navode ni na sajtu); 
– Albumi su definisani elementom <album>, koji ima atribute naziv, godina i izdavac; 
– Pesme su definisane elementom <pesma>, koji ima atribut naslovPesme, dok je za stihove rezervisana etiketa elementa <li>.  
Pošto metod tag() kreira XML etikete, njemu su kao argumenti prosleđeni samo željeni nazivi etiketa za označavanje elemenata i njihovih atributa. 
na primer album kao element ima atribute za naziv, godinu objavljivanja i producentsku kuću, što je definisano na sledeći način: with tag(’album’, naziv=album, godina="", izdavac=""):. 
Sa druge strane, metod text() generiše tekstualni sadržaj koji nije naziv etikete. 
U cilju skraćivanja koda, korišćena je Doc instanca klase yattag.Doc i združena metoda tagtext(), koja toj instanci dodaje sadržaj koji navedena metoda proizvodi (nazive etiketa, atributa i običan tekst). 
Nakon definisanja svih neophodnih parametara, primenjen je getvalue() metod, kako bi se celokupan sadržaj pretvorio u veliku nisku karaktera. 
Ovim putem tekstovi su smešteni u novu XML datoteku.  
Nakon probnog generisanja XML korpusa, u njemu je uočen specijalni karakter ampersend (&), koji je, po pravilu, zamenjen karakterom izlazne sekvence (&). 
To je učinjeno da se ampersend ne bi tretirao kao početak reference entiteta i kako bi se u potpunosti ispoštovali principi pravilnog XML strukturiranja. 
Zbog toga je u kod za anotiranje korpusa umetnuta funkcija escape() modula xml.sax.saxutils. 
Iako se u korpusu često javlja i simbol za apostrof (’), on u procesu automatske zamene karaktera nije zamenjen svojim XML ekvivalentom ', što nije ometalo generisanje ispravno formiranog XML dokumenta. 
Radi veće preglednosti, automatski su uklonjene i crtice u nazivima pesama i albuma koje su ostale prilikom grebanja veba (na primer promena od „Da-Sam-Pekar“ u „Da Sam Pekar“).  
Što se tiče ručnog obeležavanja korpusa, elementu <author> dodate su vrednosti atributa zanr: pop, rok i world music. 
Osim žanra, dodate su i vrednosti atributa rodnoMesto za rodno mesto izvođača i izdavac za producentsku kuću koja je izdala album. 
Primer poluautomatski obeleženog teksta pomenute pesme sa albuma Koncert kod Hajdučke česme grupe Bijelo Dugme, može se videti na slici 2.  
Normalizacija korpusa i njegova priprema za računarsku analizu ne predstavlja nimalo trivijalan zadatak, a, po pravilu, doprinosi generisanju informativnijih rezultata u poređenju sa računarskom analizom nepreprocesiranog teksta. 
Prikupljeni tekstovi pesama u Yu korpusu bili su prilično neujednačeni po pitanju upotrebe pisma: većina tekstova bila je zapisana na latinici, a nije mali broj onih u kojima specijalna latinična slova (č, ć, ž, đ, š) nisu sadržala potrebne dijakritičke znake. 
Sa druge strane, manji broj pesama bio je prvobitno zabeležen na ćirilici. 
Početna zamisao bila je da se celokupan korpus preslovi na ćirilicu; od te ideje se odustalo jer se u tekstovima na srpskom jeziku pojavljuju i odlomci na stranim jezicima (na primer “la musique c’est fantastiqu / prepare la revolution / et la femme est tres jolie / tre jolie comme un bonbon“). 
Stoga je odlučeno da u postupku transliteracije tekstovi napisani degradiranom latinicom i ćirilicom budu automatski pretvoreni u standardnu srpsku latinicu sa dijakritičkim znacima. 
Preslovljeni tekst korpusa u .txt formatu korišćen je u postupku ekstrakcije leksičkih jedinica iz odeljka 4.2.  
Da bi se odabrao najpogodniji alat, obavljena je restauracija dijakritika u aplikacijama Slovo Majstor i LeXimir. 
Drugi alat koristi elektronske morfološke rečnike (sa validnim oblicima reči), lokalne gramatike i Korpus savremenog srpskog jezika (Krstev et al., 2018). 
Nakon testiranja obeju metoda, došlo se do zaključka da Slovo Majstor solidno rešava problem pretvaranja degradirane u standardizovanu latinicu, uz napomenu da je nekim rečima pogrešno dodao dijakritičke znake, što je narušilo semantiku reči. 
Tako je od glagolskog oblika „isecka“ pogrešno stvorena reč „isečka“. 
Dobra strana ove aplikacije jeste mogućnost naknadne ispravke pogrešno transliteriranih reči.  
Sa druge strane, LeXimir, koji koristi funkcionalnosti Unitex softvera za obradu korpusa, istu reč je ostavio u ispravnom obliku. 
Na slici 3 može se videti da su potencijalni kandidati za odabir adekvatnog oblika reč „isečka“, što je flektivni oblik imenice „isečak“ u genitivu jednine, i „isecka“, odnosno 3. l. jd. aorista glagola „iseckati“. 
Algoritam za ispravljanje na osnovu levog i desnog tekstualnog konteksta potencijalne reči za ispravljanje vrši dezambiguaciju (razrešavanje višeznačnosti). 
Odabrana je druga opcija, gde zamenica „ga“ može da stoji uz glagol „isecka“, a ne i uz flektivni oblik imenice „isečka“, jer bi druga konstrukcija bila gramatički neispravna. 
Ipak, ručna evaluacija je neophodna i nakon primene opisanog alata, jer u nekim rečima (kao na primer u reči „oci“ u kontekstu „Trljam oci sanjive“) nisu dodati dijakritički znaci tamo gde je trebalo da postoje.  
DTD specifikacija omogućila je postavljanje upitˆa kroz navigaciju nad datim dokumentom pomoću XSLT jezika za transformaciju XML dokumenta u druge formate. 
na primer, sledeći XSLT izraz, za svaki element <autor> u dokumentu, bira vrednost atributa ime, čime se generiše lista svih izvođača u korpusu: 
<xsl:for-each select="//autor"> <xsl:value-of select="@ime" /> </xsl:for-each> 
Podaci iz XML dokumenta su transformisani u XHTML tabelu sa slike 4, gde se može videti ukupan broj autora, pesama i albuma u korpusu. 
Kružni grafikoni sa iste ilustracije opisuju (u smeru kazaljke na satu, odozgo nadole): zastupljenost izvođača u korpusu prema broju albuma, broj muških, ženskih i grupnih izvođača, kao i udeo po broju pesama.  
U LeXimir-u su takođe proizvedeni osnovni statistički podaci o Yu korpusu. 
Nakon restauracije dijakritika, korpus sadrži 248.807 tokena, 16964 jedinstvene leksičke jedinice, 116.972 proste forme (16.909 različitih) i 268 brojeva (10 različitih). 
LeXimir nudi podršku i za prikaz flektivnih oblika tokena, lematizovanih oblika, vrsta reči, frekvencija reči i kolokacija. 
Rezultati frekvencijske analize mogu se filtrirati prema vrsti reči. 
Na osnovu izvezene .xlsx datoteke možemo utvrditi na primer koje su najfrekventnije imenice ili kolokacije čiji je glavni član imenica. 
Slika 5 u nastavku predstavlja parcijalni prikaz rezultata koji svedoči o prisustvu najučestalijih imeničkih tokena, među kojima se javljaju reči dan, noć, ljubav, srce i tako dalje 
Slika 6 donosi pregled određenih kolokacija u vezi sa ratom (svetski rat, vojnu muziku, ratne filmove).  
Poznato je da su u tekstovima pesama jugo-roka bile prisutne društveno-političke i kulturološke teme, te je u softveru Unitex konstruisan graf konačnog automata za prepoznavanje indikatora navedenih tema. 
Pomoću regularnih izraza i leksičkih maski tragalo se za leksičkim obrascima u vidu skraćenica sastavljenih od: 
– majuskule, crtice i niza brojeva (na primer B-52 ); 
– sekvence majuskula + tačka koja se ponavlja najmanje dva puta (K.P.); 
– sekvence majuskula + razmak koja se ponavlja najmanje dva puta (ES EF ER JOT ); 
– sekvence koja sadrži od dve do pet majuskula (CZ, CIA).  
Među njima su se izdvojili nazivi državnih organa (na primer AVNOJ ), sportskih klubova (PFC ), naziva televizijskih kanala (BBC ) i tako dalje 
Graf sa slike 7, osim skraćenih naziva predstavljenih u rezultatu konkordance na slici 8, takođe prepoznaje i tokene: 
CZ, ES EF ER JOT, FK, TV, JRT, K.P., KGB, KK, MUP, O.K., PC, PFC, SUP i TAS.  
Da bi se utvrdilo da li su društveno angažovane teme statistički značajne u korpusu, generisan je vizualni prikaz preovlađujućih tema u vidu oblaka drveta (engl. tree cloud) korišćenjem alata TreeCloud, uz napomenu da je analiza vršena na nelematizovanim oblicima. 
Ovaj program kombinuje grafičko predstavljanje podataka u vidu oblaka reči sa drvolikom strukturom, tako da se, osim frekvencije reči, pruža uvid i u način grupisanja tokena, prema njihovom rastojanju u ovoj strukturi (videti sliku 9). 
U aplikaciju je ugrađena i lista stop reči (engl. stop words) za srpski jezik, kojoj su, za potrebe vizualizacije datog korpusa, pridodate još neke reči. 
Kreiran je vizualni prikaz u kome se izdvajaju klasteri sa značenjem osećanja, u vidu reči tuga, ljubav/-i, bol, srce/-a. 
Od urbanih tema, prisutne su reči grad/-u, ulice, delovi tela su označeni rečima ruke, lice, oči, srce/-a/-u. 
Motiv vremena je takođe frekventan u korpusu (život, vr(ij)eme, godina/-e). 
Prema ovom prikazu, društveno angažovane teme nisu u dovoljnoj meri zastupljene u korpusu.  
U radu je predstavljen projekat elektronskog formiranja i obrade tekstova jugoslovenskih rok pesama od 1967. do 2003. 
U jeziku Python izvršeno je automatsko prikupljanje sadržaja pomoću biblioteke lyricsmaster sa sajta LyricWiki, a preprocesirani korpus je i automatski anotiran po pravilima XML sintakse korišćenjem yattag alata, uz ručno dodavanje vrednosti nekih atributa. 
Sprovedena je i automatska restauracija dijakritika. 
Prikazana je i XSL transformacija korpusa u XHTML format, uz pronalaženje društveno-političkih i kulturoloških tema u softveru Unitex i vizualizaciju preovlađujućih tema u programu TreeCloud.  
Dalji rad uključivao bi evaluaciju korpusa radi ispravljanja pravopisnih i štamparskih grešaka (na primer Dunav umesto dunav, Avale umesto Aavale i slično). 
Takođe, u planu je primena elektronskih morfoloških rečnika imenovanih entiteta, u cilju ekstrakcije vlastitih imena muzičara, političara, sportista i ostalih ličnosti koje su izvršile značajan uticaj na jugoslovensko društvo. 
