Obogaćivanje renesansnih tekstova vlastitim imenima 
Apstrakt: 
Cilj projekta Renom je da obogati renesansne tekstove vlastitim imenima. 
Ovi tekstovi predstavljaju dva izazova: veliku raznovrsnost usled različitog zapisivanja reči; pretrpanost velikim brojem XML-TEI etiketa koje su uvedene da bi se sačuvao tačan izgled originalnog izdanja. 
Naš zadatak se sastojao od dodavanja etiketa imenovanih entiteta ovom formatu za imena koja nisu već bila obeležena i za kontekst sa njihove leve strane, a ponekad i sa desne strane. 
U tu svrhu poboljšali smo besplatan program u otvorenog koda CasSys da bismo analizirali tekstove sa Unitex-ovim kaskadama grafova i napravili smo posebne rečnike i kaskade. 
Evaluacija je pokazala da je stopa greške bila 6,1%. 
Renesansni tekstovi obogaćeni na ovaj način koriste se na veb-sajtu koji objedinjuje humanističke nauke i turizam tako što omogućavaju navigaciju po mapama preko imena koja se na njima nalaze. 
Ključne reči: imenovani entiteti, renesansni tekstovi, kaskade grafova, CasSys, humanističke nauke i turizam 
1. Motivacija 
Već više od deset godina Centar za visoko obrazovanje u oblasti renesanse (Centre d'Études Supérieures de la Renaissance - CESR)1 nudi na internetu Humanističke elektronske biblioteke (BVH): mnogobrojna dela Rablea, Ronsara i drugih renesansnih pisaca predstavljena su kao skenirane i transkribovane knjige. 
Transkripcija koristi TEI format koji strogo prati izgled skeniranog originala, dakle očuvani su pasusi, podela na redove, skraćenice, crtice, izgled slova i tako dalje 
Slika 1 predstavlja jedan pasus (transkribovan i skeniran tekst) romana Gargantua od Rablea kao što je prikazan na veb-sajtu. 
Isti pasus etiketiran u TEI formatu je dat u sledećem primeru označava pasus, a <lb/> označava novi red). 
Rable je pisao o Turenskoj oblasti (u Francuskoj) gde su se doselili divovi Gargantua i Pantagruel Granguzije. 
Projektom Renom2 smo planirali da razvijemo takozvani „literarni turizam“ tako što ćemo povezati imena i knjige: posetioci veb-sajta mogu da se kreću u romanu pomoću vlastitih imena i da vide gde su izmišljena ili drevna mesta bila „locirana“. 
Slika 2 pokazuje izmišljenu Telemsku opatiju između gradova Šinon i Aze le Rido, u blizini Tura. 
Turisti se podstiču da posete zamkove u tim gradovima i Rableov muzej blizu tog 'mesta'. 
Cilj ovog naučnog projekta je da obogati tekstove etiketama koje ukazuju na imena osoba, značajnih ličnosti i lokacija pomoću nadgledanih tehnika za obradu prirodnog jezika (Natural Language Processing – NLP). 
Ovaj zadatak, poznatiji kao prepoznavanje imenovanih entiteta (Named Entity Recognition – NER) dobro je definisan u oblasti obrade prirodnih jezika, i na njemu se radi već dve decenije. 
U našem projektu, postojeći TEI format, prekomerno korišćenje crtica i velika raznovrsnost u pravopisu vlastitih imena (i u pravopisu reči u celini) predstavljaju pravi izazov. 
Na primer, u odlomku na slici 1, ime Granguzije (Grandgousier) piše se Grand-<lb rend="hyphen"/>gousier a naziv Afrika se piše na dva načina, Africque i Afrique. 
Kao što je uspostavljeno na MUC konferencijama (Message Understanding Conferences), imenovani entiteti se odnose na imena osoba, nazive lokacija, nazive organizacija, datume, procente, valute (Chinchor, 1997) i ponekad titule, sate, profesije i tako dalje 
Dostignuća u ovoj oblasti su predstavljena kod (Nadeau, Sekine, 2009); glavna ideja je da se koriste unutrašnji i spoljašnji dokazi (MacDonald, 1996), to jest lokalni kontekst. 
Na primer, u Ig Tijeri Salel Stariji, gospodar Sevilje (Hugues Thierry Salel l’ainé, seigneur de Seuille), prvo ime Ig Tijeri ukazuje da je Ig Tijeri Salel ime osobe (unutrašnji dokaz) a titula gospodar (seigneur) ukazuje da je Sevilja (Seuille) toponim (spoljašnji dokaz). 
Za rešavanje NER zadatka moguća su tri pristupa: mašinsko učenje, simbolična pravila, a ponekad i hibridni pristup. 
Tehnikama mašinskog učenja potreban je korpus za obučavanje koji nije dostupan za naš zadatak. 
Iz tog razloga koristili smo pristup zasnovan na simboličnim pravilima (Ait-Mokhtar et Chanod, 1997; Hobbs et al., 1997). 
Da bi se uspostavila saradnja između informatičara, lingvista i stručnjaka za renesansu, izabrali smo Unitex platformu3 (Paumier, 2003) zbog pogodnog interfejsa (sa korišćenjem grafova) i besplatne licence. 
Sa Unitex-om možemo da definišemo kaskadne sisteme zasnovane na pravilima (CasSys meni), koji mogu da koriste mnogobrojne mogućnosti Unitex grafova. 
Kaskade (Abney, 1991) su korišćene u mnogim NLP aplikacijama, kao što je raščlanjivanje (Abney, 1996), sintaksička analiza (Kokkinakis, 1999), morfološka analiza (Alegria et al., 2001) i tako dalje 
Naš sistem je inspirisan radom (Friburger, Maurel, 2004).  
LP zajednica je zainteresovana za drevne jezike i drevne oblike savremenih jezika (pogledajte na primer Denooz, Rosmordus, 2009). 
Starofrancuski pravopis nije strogo utvrđen i postojalo je mnogo varijanata imena. 
Za srednjefrancuski (malo pre renesansnog francuskog) razvijeni su posebni alati i rečnici (Souvay, 2004) kao i lematizeri (Souvay, 2007). 
Za realizaciju našeg zadatka bilo je potrebno da i mi napravimo posebne rečnike i kaskade što smo i učinili u saradnji sa stručnjacima za renesansu. 
Cilj ovog projekta je da pomogne stručnjacima da precizno etiketiraju tekstove i poprave rečnike. 
Ovi rečnici sadrže vlastita imena i njihove varijante povezane jedinstvenim ključevima (predložio ih Renom a odobrili stručnjaci), kao i lokacije takođe povezane jedinstvenim ključevima sa bazom podataka GeoNames. 
4 Veb-sajt koristi ovaj pokazivač da ih označi na mapi. 
Kada premale ili stare lokacije nisu bile dostupne u bazi GeoNames, stručnjaci su u tu bazu dodavali nove odrednice. 
2. Prezentacija korpusa 
Korpus se sastoji od jedanaest knjiga: 
Fantastični govori (Les discours fantastiques) (izdanje iz 1566), Justin Tonelie (Justin Tonnelier);  
Dvorjanin (Courtisan) (izdanje iz 1538), Baldasare Kastiljone (Baldassare de Castiglione);  
Putovanje u Tur (Voyage de Tours) (izdanje iz 560) i  
Elegija o Amboazovim nevoljama (Élégie sur les troubles d'Amboise) (izdanje iz 1563), Pjer de Ronsar (Pierre de Ronsard);  
Gargantua (izdanje iz 1542),  
Pantagruel (izdanje iz 1542),  
Treća knjiga (le Tiers Livre) (izdanja iz 1546. i 1552),  
Četvrta knjiga (le Quart Livre) (edicije iz 1548. i 1552) i  
Kratka izjava (Brève déclaration) (izdanje iz 1552), Fransoa Rable (François Rabelais). 
Format je veoma specifičan: kao što smo objasnili u prvom delu, poštuje se celokupan izgled originalnog izdanja, podela na redove, futeri, početna slova i tako dalje 
Ponekad su i oni koji su transkribovali dodavali neke korekcije. 
Neki primeri ovog formata su: 
Početno slovo (Pantagruel) 
Prenošenje kraja prvog red na kraj drugog reda, posle zagrada, iza latinskog citata u istom redu - transkribovano na tri linije. 
Futer (reč ’Dace’ je prekinuta brojem stranice – 188) 
Korekcija (umetanje apostrofa) 
3. Korišćenje tipologija 
CESR je koristio TEI format za transkribovane tekstove, tako da je bilo prirodno da se usvoji ista TEI tipologija. 
Koristili smo četiri tipa: geografska imena (geogName), nazive mesta (placeName), nazive organizacija (orgName) i imena osoba (persName). 
3.1 Geografska imena i nazivi mesta 
Geografska imena su podeljena u dva podtipa, geonime (planine, ravnice, visoravni, pećine…) i hidronime (okeani, mora, reke, jezera, bare…) za koje je korišćena posebna vrednost atributa type etikete geogName. 
Ako je bilo moguće, geografske odrednice su dodatno precizirane dodavanjem posebne unutrašnje etikete geogFeat. 
Nazivi mesta su nekad takođe podeljeni u podtipove (gradovi, zemlje, imanja i zgrade) korišćenjem istog atributa type. 
3.2 nazivi organizaci 
Organizacije su podeljene na tri podtipa: ljudi, imanja i zajednice. 
CESR je odabrao da ne povezuje organizacije sa ključevima. 
Organizacije su takođe mogle da budu umetnute jedna u drugu. 
Kada je bilo teško da odlučimo da li se ime odnosi na mesto ili na organizaciju, unosili smo obe etikete, placeName i orgName. 
3.3 imena osoba 
U najjednostavnijim primerima korišćene su samo etikete persName sa svojim ključevima . 
a lična imena (foreName), prezimena (surName) i partikule (nameLink). 
Konačno, ove etikete su proširene titulama ili ulogama (roleName) koje su razvrstane u podtipove: plemićka uloga, crkvena uloga, funkcija ili zanimanje, počasni položaj. 
Kada je u titulu uključen naziv mesta, takođe je etiketiran: na primer, gospodar Esarsa (seigneur des Essars) je osoba, ali Esars je mesto: 
Ponekad smo dodatno specifikovali lična imena kada bi nadimci ili uloge unutar porodice bili pomenuti (u narednom primeru stariji sin (l’ainé)): 
Tekstovi su bili i dvosmisleni. 
Ako je bilo moguće, stručnjaci su birali dobru interpretaciju. 
U sledećem primeru, saint Martin de Candes može da se odnosi i na crkvu i na osobu: 
4. Rečnici 
Kao što smo već pomenuli, često nam je bilo potrebno da NER prepozna kontekst imenovanog entiteta. 
Zbog toga smo napravili ortografski rečnik varijanti, proučavajući kontekst i koristeći listu sa starim ličnim imenima. 
Na primer, u renesansi se reč 'kapetan' pisala capitaine, capiteine ili cappitaine. 
Mi smo izabrali sinhronu odrednicu za lemu i dodali smo svojstva koja NER može da koristi (videti 6.3 i 6.4): 
Na primer, drugi red sadrži pet informacija: oblik (capiteine), lemu (capitaine), vrstu reči (N), svojstvo (Military) i morfološke kodove (ms). 
Tri CESR liste imena koje se odnose na osobe, organizacije i lokacije smo pretvorili u format Unitex rečnika (predstavljen na početku poglavlja), koje smo poboljšavali nakon analize svake knjige. 
U proizvedenim rečnicima imenima, reč ima za lemu svoj ključ. 
Ovi ključevi se koriste da povežu različite načine zapisivanja imena, a takođe i da povežu lokacije sa bazom GeoNames:  
U prethodnim radovima, CESR stručnjaci su izabrali da koriste eksplicitne ključeve, to jest da kao ključeve koriste same nazive (kao što je loc_ancenis za toponim Ancenis) pa smo i mi morali da koristimo isti pristup. 
Tabela 1 predstavlja broj unosa u rečnicima na kraju projekta Renom. 
5. Poboljšanja Unitex platforme 
Kao što smo ranije napomenuli, izabrali smo Unitex platformu da bismo olakšali saradnju između informatičara, lingvista i stručnjaka za renesansu. 
Unitex je besplatna platforma u otvorenom pristupu (LGPL licenca). 
Unitex omogućava svakome da parsira tekstove sopstvenim rečnicima (videti poglavlje 4), da piše lingvistička pravila u obliku grafova koristeći se vrlo pogodnim interfejsom, a može i da pravi kaskade grafova sa CasSys-om. 
Kaskada grafova je niz grafova za parsiranje: prvi graf parsira tekst, drugi parsira tekst koji je modifikovan prvim grafom i tako dalje. 
Za potrebe projekta Renom morali smo da unapredimo CasSys dodavanjem tri svojstva koja će biti objašnjena u sledećim pododeljcima: iteracija, odnosno ponavljanje primene grafa do određene fiksne tačke, omogućavanje upotrebe Unitex-ovih morfoloških rečnika i stvaranje adekvatnijih izlaznih datoteka kaskade. 
U Unitex-u, grafovi parsiraju tekst sa mogućnošću ubacivanja novih sekvenci, zamenjivanja drugih, korišćenja promenljivih, pomeranja sekvenci i umetanja podataka iz rečnika. 
5.1 Interacija grafova 
Dodali smo u CasSys mogućnost iteracije grafova do određene fiksne tačke: iterativni graf parsira tekst i stvara modifikovan tekst, potom parsira ovaj modifikovani tekst i tako dalje sve dok parsiranje više ne modifikuje tekst nastao kao rezultat prethodnog parsiranja (to je ta fiksna tačka). 
Iterativne grafove koristili smo, pre svega, da napravimo ključeve tipova koji su umetnuti jedni u druge (videti poglavlje 6.5). 
5.2 Unitex morfološki rečnici 
a oblik koji se pojavljuje u tekstu Unitex graf može da izvuče informacije koje su mu pridružene u rečnicima: njegovu lemu, svojstva ili morfološke kodove. 
Ovi rečnici se zovu „morfološki rečnici“. 
Dodali smo mogućnost uključivanja ove funkcije u kaskade. 
Definisali smo naša tri rečnika imena (videti poglavlje 4) kao „morfološke rečnike“ i to nam je omogućilo da povežemo ime koje smo pronašli u nekom od rečnika sa njegovim ključem. 
Više informacija dajemo u poglavlju 6.5. 
5.3 izlazna datoteka kaska 
Osnovna ideja kod parsiranja teksta kaskadom grafova je da se već etiketirani deo teksta posmatra kao izraz koji se sastoji od više reči (engl. multiword expression – MWE) jer tada naredni grafovi kaskade više ne mogu da ga parsiraju. 
Unitex sistem prepoznaje sekvencu karaktera kao MWE ako se stavi između vitičastih zagrada. 
Na primer, XML etiketa <lb rend="hyphen"/>6 će biti protumačena kao MWE ako se stavi između vitičastih zagrada: 
{<lb rend="hyphen"/>,.BaliseXML+DFlb+hyphen} To radi graf koji je predstavljen na slici 4. 
Dodatne informacije unutar vitičastih zagrada (posle zareza i tačke) omogućavaju sledećim grafovima kaskade da analiziraju MWE sa Unitex izrazima kao što su <BaliseXML> (za XML etiketu), <DFlb> ili <hyphen>, u zavisnosti od potrebnog stepena preciznosti. 
Mana je što se tekst koji se dobija teško čita. 
Zbog toga smo implementirali poseban CasSys XML format koji se koristi kao alternativni izlaz iz kaskade: 
Iz tog razloga naše kaskade uvek dolaze u paru: prva se koristi za parsiranje teksta dok druga transformiše poseban CasSys XML formate (rezultat prve kaskade) u traženi format. 
Prvi graf kaskade transformiše sve originalne XML etikete u MWE. 
6. Metoda 
Naš korpus se sastoji od dve grupe tekstova. 
Prva grupa je već imala etikete za vlastita imena (persName, geogName i placeName) koje su stručnjaci ručno dodali; naš zadatak na ovim tekstovima bio je da dodamo unutrašnje etikete (geoFeat, foreName, lastName…), da pronađemo ključeve u rečnicima i da proširimo imena na imenovane entitete dodavanjem etiketa poput roleName (gospodar, opatija…), genName (stariji sin…) i tako dalje. 
U drugoj grupi tekstova samo je formatiranje bilo anotirano, što je značilo da smo prvo morali da prepoznamo imena u ovim tekstovima, da bi potom uradili isti posao kao i sa prvom grupom tekstova. 
Posao smo organizovali u četiri etape (videti sliku 5). 
Nekoliko već etiketiranih tekstova je parsirano tek od treće etape. 
Pripremna obrada radi rekonstrukcije odsečenih imena na kraju reda ili strane; 
Pretraživanje rečnika i upotreba kontekstnih pravila za etiketiranje imena; 
Konsultovanje rečnika i primena internih i proširenih pravila, kao što je ranije objašnjeno (firstName naspram genName i tako dalje); 
Vađenje imena koja nisu u rečnicima. 
6.1. Crtica 
Kao što smo istakli, mnogo crtica se pojavljuje u tekstovima. 
Prvi graf je prepoznao XML etikete kao izraze koji se sastoje od više reči (MWE) i dodelio im kao vrstu reči (POS) baliseXML. 
Ostali grafovi prve kaskade rekonstruišu reči. 
Na primer, graf na slici 6 prepoznaje slova veća od drugih: hi8 etiketa seče reč, a graf je rekonstruiše. 
Dve hi etikete (početna i završna etiketa) postaju novi MWE čija vrsta reči postaje largerSup, a njegov novi atribut pamti opseg istaknute sekvence (ovde, value="1" jer je u pitanju slovo). 
6.2 Skraćenice 
Graf predstavljen na slici 7 prepoznaje XML etikete choice, abbr and expan,9 i gradi MWE10 sa vrstom reči abbreviation (skraćenica). 
6.3 Imena prepoznata iz rečni 
Druga etapa je počela pretraživanjem rečnika da bi se etiketirala imena koja se nalaze u rečniku. 
Neka imena su bila višeznačna, pa smo koristili kontekst da bismo utvrdili da li se radi o imenu osobe, lokacije ili organizacije. 
Graf na slici 8 dodaje etiketu persName ličnim imenima u vojnom kontekstu. 
6.4 Imena prepoznata samo na osnovu konteksta 
Nakon što smo prepoznali imena iz rečnika, iskoristili smo iste kontekste da etiketiramo imena koja nisu u rečnicima, ukoliko im je prvo slovo veliko. 
Graf na slici 9 etiketira sa persName imena koja nisu prepoznata, a javljaju se u vojnom kontekstu. 
6.5 Ključevi 
Kada smo identifikovali imena, tražili smo njihove ključeve u rečnicima, ukoliko su takvi unosi postojali. 
Graf na slici 10 vraća ove ključeve u obliku atributa key odgovarajuće početne etikete. 
Ako ime nije pronađeno u rečnicima, drugi grafovi grade njegov mogući ključ spajanjem ključeva imena od kojih se ono sastoji. 
Atribut dic=”no” je stručnjacima ukazivao da ime (sa ovakvim pravopisom) nije pronađeno u rečnicima. 
Stručnjak bi ga dodao, sa drugim ključem ako je to varijantni oblik nekog postojećeg unosa ili sa ovim ključem ako je to zaista novi unos. 
Pravljenje ključa nije bilo jednostavno zbog imena koja su umetnuta jedna u druga. 
Na primer, morali smo da dodamo tri ključa za ime château du gué de Vede: jedan za vlastitu imenicu Vede (ključ je izvađen iz rečnika), jedan za gué de Vede i jedan za château du gué de Vede: 
Graf koji pravi ključeve umetnutih imena primenjuje se iterativno; 
poziva četiri podgrafa, po jedan za svaki tip. 
Slika 11 predstavlja ovaj graf i jedan od njegovih podgrafova koji unosi ključ u etiketu placeName. 
6.6 Etikete unutar imena  
Unutar etiketa imena smo uneli neke etikete: etikete za lična imena i prezimena unutar persName i geogFeat etikete unutar geogName. 
Za ovaj zadatak koristili smo rečnik renesansnih imena. 
Sledeći slučajevi su nam zadavali poteškoće: osoba sa više ličnih imena (Hugues Thierry Salel), sa prezimenima koja se sastoje od više reči (Jan Trivolse Guallo) ili imaju partikule (Ulrich Thierry du Gallet). 
Graf na slici 12 etiketira jedno lično ime i jedno prezime (etikete su u podgrafovima). 
Posle primene ovog grafa i imena i njihove unutrašnje etikete se posmatraju kao MWE. 
6.7 Proširene etikete  
Isto tako smo proširili persName etikete na imenovane entitete koji sadrže etikete roleName (gospodar, opatija, učitelj…), genName (stariji sin…) ili addName (nadimci). 
Dodali smo nove etikete sa leve ili sa desne strane već prepoznatog ličnog imena i pomerili smo rersName etikete. 
Graf na slici 13 dodaje etikete sa leve strane imenovanog entiteta kada mu prethodi roleName. 
U ovom slučaju ključ se ne menja. 
6.8 Poboljšanje rečnika 
Konačno, poslednje dve kaskade su napravile novu datoteku za unapređenje rečnika: obrisale su sav tekst, osim imena koja nisu već bila u rečnicima ili su bila u njima ali sa drugačijim svojstvima. 
Na primer, poslednji primer: 
Celokupna lista imena sa karakteristikama dic=”no” je prosleđena stručnjacima da poboljšaju rečnike. 
7. Evaluacija 
Da bismo ocenili naš posao analizirali smo dve knjige Pjera de Ronsara iz našeg korpusa (Putovanje u Tur i Elegija o Amboazovim nevoljama). 
Ove knjige nismo koristili za pravljenje naših kaskade – za njihovo razvijanje uglavnom smo koristili Rableove knjige. 
Izračunali smo ponderisani oblik stope greške slota (slot error rate - SER)11 (Makhoul et al., 1999) korišćen u francuskoj kampanji evaluacije. 
SER pravi razliku između tri tipa grešaka: 
• umetanje (I - težina 1): etiketirali smo reči koje nisu imena. 
• izbacivanje (D - težina 1): propustili smo da etiketiramo ime. 
• etikete sa graničnim greškama: pogrešan tip (T - težina 0.5), etiketa izvan ili unutar vlastitog imena (E - težina 0.5) ili oba (TE - težina 1).  
Ako je #R zbir entiteta referentnih tekstova, SER se izračunava formulom: 
Sa ovako prebrojanim vrednostima, ako je #S zbir uočenih entiteta, možemo da izračunamo i preciznost i odziv u našem radu: 
Etiketirani tekstovi su u potpunosti nadgledani, pa su granične greške manje važne. 
Ipak, možemo da izračunamo i preciznost tačnog prepoznavanja tipova i preciznost tačnog određivanja međa imenovanih entiteta: 
Rezultati su predstavljeni u tabeli 2. 
Stručnjaci CESR-a su želeli da pročitaju ceo korpus pre objavljivanja na sajtu. 
SER od 6,1% ukazuje na to da je njihov rad zaista unapređen. 
Značajan broj grešaka izbacivanja korespondira sa velikim brojem imena bez konteksta koja nisu predstavljena u rečnicima. 
Na kraju su stručnjaci unapredili rečnike. 
8. Zaključak 
U ovom radu smo predstavili NER zadatak primenjen na renesansne tekstove u XML-TEI formatu. 
Format korpusa i značajne varijacije vokabulara su zahtevale da korpus tretiramo na drugačiji način nego savremene tekstove. 
Koristili smo rečnike i kaskade zasnovane na pravilima i dobili smo 6,1% SER-a. 
Naš sistem će ući u proizvodnu liniju transkribovanih tekstova. 
Najznačajniji Rableovi tekstovi su sada dostupni na veb-sajtu projekta Renom koji ima pretraživač za imena. 
Koristi ključeve da poveže varijantne oblike imena i da ih poveže sa mestima na mapi. 
9. Zahvalnost  
Ovaj projekat podržava Istraživački program regiona Centar. 
Autori zahvaljuju CESR, naročito Sandin Brej, Mari-Lis Demone, Žorž Fen i Mari Olivron. 
