SAŽETAK: Upotreba	tehnologije u	nastavi predstavlja izazov kako za predavače, tako i za učenike. 
U ovom radu, predstavili smo sistem za automatsku procenu tačnosti odgovora korišćenjem Latentne semantičke analize (lsa) – metode koji počiva na pretpostavci da će se reči sličnog značenja javiti u sličnim kontekstima. 
Sistem će biti korišćen u okviru digitalnih leksičkih kartica za usvajanje vokabulara drugog jezika, koje će pratiti clil metod nastave. 
Rezultati prikazani u ovom radu ukazuju na to da lsa daje bolje rezultate na dužem tekstu nego na kraćem koji ima formu definicije. 
Odgovori su klasifikovani u dve i u više kategorija korišćenjem knn algoritma. 
Procenjena preciznost modela za dve kategorije je P = 0, 73, odziv R = 1, 00, a skor F1 = 0, 85, dok kod više kategorija je dobijeno P = 0, 50, R = 0, 47, a mera F1 = 0, 46. 
Rezultate je potrebno uzeti sa određenom rezervom zbog malog skupa nad kojim je vršeno obučavanje i evaluacija. 
KLjUČNE REČI: lsa, clil, usvajanje vokabulara drugog jezika, kosinusna sličnost, knn 
Korišćenje tehnologije u svrhe poboljšavanja nastave jezika i ishoda učenja aktuelan je problem još od 60-ih godina 20. veka. 
U ovom radu bavićemo se izradom modela za automatsku procenu tačnosti odgovora korišćenjem latentne semantičke analize (engl. Latent Semanitc Analysis, lsa). 
Model će kasnije biti implementiran u okviru digitalnih leksičkih kartica za učenje vokabulara engleskog kao stranog jezika. 
Ranijim istraživanjima (Landauer, Foltz, and Darrell 1998; Lemaire and Dessus 2003; Lifchitz, Jhean-Larose, and Denhi`ere 2009), zaključeno je da lsa na dobar način predstavlja veliki broj kognitivnih sposobnosti čoveka, među kojima je i usvajanje vokabulara, i da ima visok stepen slaganja sa procenama tačnosti evaluatora (Landauer et al. 1997; Graesser et al. 2000; Lemaire and Dessus 2003; Landauer, Laham, and Foltz 2003; Picca, Jaccard, and Eberl´ 2015). 
Digitalne leksičke kartice pokazale su se kao dobro sredstvo za učenje vokabulara drugog jezika (Ashcroft, Cvitkovic, and Praver 2018). Ovakav način učenja učenicima omogućava dva pristupa koja poboljšavaju ishod učenja, naročito na nižim nivoima znanja jezika (Ashcroft, Cvitkovic, and Praver 2018) - svesno učenje (Nation 2006; Hung 2015) i intervalno učenje novih reči (Ashcroft, Cvitkovic, and Praver 2018). 
Uzimajući u obzir navedeno, smatramo da ćemo izradom modela predstavljenog u ovom radu ispitati nekoliko metodoloških problema, i doprineti digitalizaciji nastave jezika na Rudarsko-geološkom fakultetu Univerziteta u Beogradu. 
Kako se rad zasniva na interdisciplinarnom pristupu, i ciljevi rada su dvojaki — pedagoški i metodološki. 
Pedagoški cilj je provera trenutnog poznavanja geološkog i akademskog vokabulara studenata i saradnika Rudarsko-geološkog fakulteta i unapređivanje nastave učestvovanjem u razvoju digitalnih nastavnih materijala. 
Metodološki cilj je da ispitamo mogućnosti primene lsa na procenu odgovora iz domena geologije i akademskog vokabulara, i na formu definicije, kao i da ispitamo u kojoj meri model korelira sa procenama evaluatora. 
U skladu sa postavljenim ciljevima, polaznim hipotezama pretpostavljamo da će kreiranje sistema olakšati dalji proces digitalizacije nastave, kao i da će primena lsa u okviru digitalnih leksičkih kartica biti uspešna. 
Znanje reči obuhvata poznavanje njene forme, značenja i upotrebe (Nation 2006). 
Na učenje vokabulara utiču i vreme koje učenik provede učeći, kao i uključenost učenika u proces učenja. 
Pokazalo se da pri učenju vokabulara kada je u pitanju vreme, najbolje rezultate daje intervalno učenje (engl. spaced/distributed learning), odnosno učenje u više manjih sesija sa pauzama, gde se dužina pauze između svakog intervala postepeno povećava (Nation 2006). 
Kada je u pitanju uključenost učenika u proces učenja, prema nekim autorima, implicitno učenje primenjuje se na učenje forme reči i rezultat je frekvencije izloženosti rečima, dok se značenje reči, koje je apstraktno i spada u domen semantike, usvaja eksplicitnim učenjem. 
Pri eksplicitnom učenju, koriste se različita nastavna sredstva, kao što su rečnici, liste reči i leksičke kartice (Nation 2006; Hung 2015; Ma 2009). 
Nekoliko istraživanja pokazalo je da leksičke kartice (engl. flash-cards) daju najbolje rezultate kada je u pitanju usvajanje vokabulara drugog jezika, naročito na nižim nivoima poznavanja jezika (Spiri 2008; Nakata 2008; Hung 2015; Averianova 2015; Y¨uksel, Mercano˘glu, and Yılmaz 2022). 
Leksičke kartice istovremeno omogućavaju eksplicitno i intervalno učenje vokabulara, te usvajanje forme, značenja i upotrebe reči u kontekstu (Ma 2009). 
Danas, učenicima su na raspolaganju i digitalne leksičke kartice, za koje se pokazalo da imaju određene prednosti u odnosu na papirne — učenik odmah dobija objašnjenje i ispravku gramatičkih i pravopisnih grešaka, moguće je koristiti slike i zvuk, i može im se pristupiti sa različitih uređaja. 
Takođe, omogućavaju učenje bilo kada i bilo gde, i odličan su materijal za intervalno učenje. 
Mogu se koristiti i za učenje i za proveru znanja, i	omogućavaju gejmifikaciju učenja vokabulara. 
Neki od najčešće korišćenih postojećih sistema su Anki i Quizlet (Ashcroft, Cvitkovic, and Praver 2018). 
Učenje vokabulara engleskog jezika iz domena geološke terminologije pomoću digitalnih kartica ispitivano je u Beko, Obradović, and Stanković (2015). 
Neki od problema istaknutih u radu su nemogućnost studenata da pronađu adekvatan metod za učenje novih reči, nizak nivo znanja engleskog jezika na početku studija, kao i manjak prevoda terminologije na srpski jezik, što dodatno otežava zadatke koji zahtevaju prevod. 
Kako će naš model biti jednojezičan, nećemo ponuditi rešenje za poslednji navedeni problem. 
Postojeći sistemi koji se koriste u okviru Rudarsko-geološkog fakulteta su tezaurus geološke terminologije na srpskom i engleskom jeziku koji sadrži oko 2800 reči, kao i digitalni resurs rudarske terminologije RudOnto (Beko, Obradović, and Stanković 2015). 
Razvijen je i sistem digitalnih kartica RGF Flashcards, korišćenjem programa Anki, koje su potom integrisane u Moodle platformu. 
S	obzirom na to da će se digitalne leksičke kartice koristiti u	nastavi koja prati udžbenik zasnovan na nastavnom metodu cllil, koja spaja učenje sadržaja iz određene stručne oblasti sa učenjem jezika (Beko 2013; Derić 2019; Baten, Van Hiel, and De Cuypere 2020), pri čemu se od učenika očekuje poznavanje engleskog jezika na nivou c1, kartice mogu pomoći učenicima koji stupaju na fakultet sa nižim nivoom poznavanja engleskog jezika da brže i lakše usvoje vokabular i samim tim lakše prate nastavu i nastavne materijale. 
Latentna semantička analiza (engl. Latent Semantic Analysis, lsa) je teorija i metoda za ekstrakciju i predstavljanje značenja reči u	kontekstu, statističkim izračunavanjima primenjenim na veliki korpus teksta (Landauer et al. 1997). 
Dosadašnja istraživanja pokazala su da lsa u velikoj meri na dobar način predstavlja kognitivne sposobnosti kao što su usvajanje vokabulara, kategorizacija reči, semantičko primovanje, razumevanje diskursa, i procena valjanosti eseja (Landauer, Foltz, and Darrell 1998). 
Prilikom izrade lsa modela na početku pravimo matricu dokumenata i termina, čime se formira semantički prostor sazdan od svih termina i dokumenata u korpusu (Deerwester et al. 1990; Lan-dauer, Foltz, and Darrell 1998; Lemaire and Dessus 2003). 
U narednom koraku, funkcija težine primenjuje se na svaku ćeliju u matrici, pri čemu se male težine dodeljuju visokofrekventnim terminima, a velike težine terminima koji se pojavljuju u nekim, ali ne svim dokumentima (Deerwester et al. 1990; Martin and Berry 2013). 
Nakon ovoga, vrši se dekompozicija matrice na singularne vrednosti (engl. Singular Value Decomposition, svd). 
svd (formula 1) je ključni deo lsa, jer omogućava predstavljanje značenja reči u odnosu na kontekst u kojem se javljaju (Lemaire and Dessus 2003). 
Neka su m i n prirodni brojevi i neka je M proizvoljna matrica m × n. Tada postoji dekompozicija matrice Mmn:  M=U×S×VT	(1) 
gde je: 
– M: ortogonalna m×n matrica (matrica dokumenata i termina), gde m predstavlja broj dokumenata, dok n predstavlja broj termina; 
– U: ortogonalna m×r matrica dokumenata i tema, gde m predstavlja broj dokumenata, dok r predstavlja broj tema; 
– S: dijagonalna r × r matrica, čije su sve vrednosti osim na dijagonali jednake 0. Vrednosti u S predstavljaju koliko svaka latentna tema objašnjava varijansu u podacima; 
– V : ortogonalna n×r matrica termina i tema, gde n predstavlja broj dokumenata, dok r predstavlja broj tema. 
Množenjem triju matrica dobijenih u svd možemo približno rekonstruisati originalnu matricu M. 
Dimenzionalnost redukovane matrice Mk treba da bude optimalna, i da tačno oslikava odnose između elemenata u originalnoj matrici M (Landauer, Foltz, and Darrell 1998). 
Za proveru valjanosti broja dimenzija, uzima se spoljni kriterijum validacije (Landauer, Foltz, and Darrell 1998). 
U našem slučaju, ovo će biti mera kosinusne sličnosti između odgovora studenta i tačnog odgovora (Rahutomo, Kitasuka, and Aritsugi 2012). 
Do sada, lsa je korišćena u mnogim pametnim igrama u svrhe procene tačnosti odgovora, davanja povratne informacije o odgovoru, odgovaranje na upite studenata, procenu tačnosti i koherentnosti eseja i	učenje vokabulara. 
Prilikom procene tačnosti eseja pokazala je visok stepen korelacije sa procenama evaluatora (Landauer et al. 1997; Graesser et al. 2000; Lemaire and Dessus 2003; Landauer, Laham, and Foltz 2003; Dikli 2006; Lafourcade and Zampa 2009; Picca, Jaccard, and Eberl´ 2015). 
Ulazni podaci sastoje se od tri dela. 
Prvi deo ulaznih podataka su tekstovi napisani za udžbenik u pripremi prof. dr Lidije Beko - 12 lekcija sa po tri teksta o određenoj temi. 
Drugi deo ulaznih podataka je vokabular koji prati svaku lekciju. Vokabular ukupno ima 962 reči, a podeljen je u tri kategorije - opšti vokabular (663 reči), geološki vokabular (280 reči) i minerali (18 reči). 
Treći deo podataka su odgovori ispitanika prikupljeni na osnovu testova okačenih u okviru kurseva Engleski 1–4 na platformi Moodle Rudarsko-geološkog fakulteta. 
U	svrhe prikupljanja odgovora napravljene su tri grupe testa za tri grupe ispitanika, od kojih je svaka imala iste zadatke sa različitim primerima. 
Sve grupe testa formirane su prilagođavanjem zadataka korišćenih u Jhean-Larose et al. (2010), a šesti zadatak prilagođen je u odnosu na originalni test. 
Opisi zadataka sa primerima nalaze se u tabeli 1. 
Tabela 1: Test pomoću kojeg su prikupljani podaci 
Ovako sastavljeni testovi implementirani su na Moodle platformi koja je dodatno opremljena proširenjem h5p i podeljeni sa ispitanicima. 
Test je popunilo 14 ispitanika, a prikupljen je 451 odgovor. 
Kako bi naši ispitanici ostali anonimni, svakom ispitaniku dodeljen je jedinstveni id. 
Najviše odgovora prikupljeno je za prvu, a	najmanje za treću grupu testa. 
Evaluacija odgovora vršena je u dva koraka, 
prvo je svakom odgovoru dodeljena ocena na skali od 1 do 5 (tabela 2). 
Tabela 2: Skala procene evaluatora 
Odgovore kojima je dodeljena ocena 1, označili smo kao netačne (n), a	odgovore sa ostalim ocenama kao tačne (t). 
Kriterijum za procenu tačnosti odgovora ispitanika bio je poređenje sa zlatnim standardom – definicijom odrednice iz udžbenika, i znanje evaluatora. 
Pri proceni tačnosti nismo uzimali u obzir gramatičku i pravopisnu ispravnost odgovora. 
Usled nedoslednog izlaznog rezultata petog zadatka, ovaj zadatak izbačen je iz analize. Za analizu pomoću lsa uzeti su 3, 6, 7. i 8. zadatak. 
Ovim smo dobili 238 odgovora, 
a nakon uklanjanja pitanja na koja ispitanici nisu odgovorili, ostalo nam je 72 odgovora za evaluaciju. 
Priprema teksta rađena je u skladu sa metodama iznađenim u literaturi (Deerwester et al. 1990; Dikli 2006; Lifchitz, Jhean-Larose, and Denhi`ere 2009), koje smo prilagodili našim ciljevima i podacima. 
Tekst je prvo lematizovan korišćenjem biblioteke SpaČ, a kada smo dobili lematizovane surogate za svaki deo podataka, iz njih smo uklonili interpunkciju i specijalne karaktere korišćenjem regularnih izraza i tekst prebacili u mala slova (engl. lower case). 
Iz odrednica smo uklonili i latinske množine reči (data sing. da-tum i hypothesis pl. hypotheses). 
Primer obrađenog teksta prikazan je u tabeli 3. 
Rečenice su preuzete iz različitih tekstova. 
Tabela 3: Obrađen tekst 
U definicijama, glagoli nisu dosledno lematizovani, 
npr. “an act of splitting into category” reč splitting nije lematizovana u split. 
Pregledom drugih primera sa sličnom strukturom (glagol-predlog-glagol ili imenica-glagol-predlog), npr. an action of take something, the process of break something down nismo uočili istu grešku. 
Takođe, glagol unstrati-fied je u odgovoru gde se nalazi samostalno lemazitovan u unstratifie, dok je u odgovoru incoherent loose unstratified ostao u istom obliku. 
Latinske reči, npr. antennae ili pinaceae, nisu lematizovane. 
Za izradu lsa koristili smo biblioteku Scikit-Learn. 
Prva izrađena matrica je tf-idf (engl. term frequenč–inverse document frequenč, tf-idf) matrica, gde se u redovima nalaze dokumenti, u kolonama termini, a u ćelijama relativne frekvencije termina u svakom od dokumenata (Jurafsky and Martin 2023). 
Prilikom izrade matrice potrebno je odlučiti sa koliko termina će svaki dokument biti opisan. 
Isprobavanjem različitih opcija između 700 i 5000 termina, odlučili smo se da broj termina u tf-idf matrici tekstova lekcija bude 1.000, da minimalna frekvencija bude tri i da se odbacuju termini koji se pojavljuju u više od 80% dokumenata. 
Uklonjene su i stop reči, koje su kombinacija stop reči za engleski jezik iz NLTK biblioteke8 i stop reči specifičnih za naše tekstove (km, kmh, mm, metre, one, two, three, etc, yet, well. . . ). 
Kako primenom ovih parametara na definicije i odgovore nismo dobili dobre rezultate, odabrali smo da tf-idf matrica ovde ima 700 dimenzija, a da minimalna i maksimalna frekvencija budu 1 i 100% dokumenata. Stop reči uklonjene iz odgovora i definicija su samo neodređeni i određeni član — a/an, the. 
Parametri svd isti su za sve delove podataka. 
Kako bismo utvrdili da li smo dobro odredili broj tema, za svaku dobijenu temu izdvojili smo 15 termina sa najvećim težinama, zatim smo proverili da li između tema postoje prevelika preklapanja, ili da li model nešto što smatramo da je trebalo, nije izdvojio. 
Ovime smo odlučili da broj tema bude 10. 
Pregledom prvih 100 termina, dodelili smo nazive temama. 
Neke teme, Topic0, Topic1, Topic4, sadrže opštije termine, koji se provlače kroz većinu tekstova. 
S druge strane, u temama Topic3, Topic5 i Topic7 se nalaze termini koji se odnose na specifične oblasti geologije, kao što su tektonske ploče, vulkanologija i erozija (tabela 4). 
Tabela 4: Izdvojene teme iz tekstova i termini sa najvećim težinama za svaku temu 
Nakon što smo spremili vektore za sve delove podataka, izmerili smo kosinusne sličnosti između svih tekstova kako bismo pronašli međusobno najsličnije, 
a zatim smo izračunali skor svakog odgovora merenjem kosinusne sličnosti odgovora i: a) vektora tekstova lekcije u kojoj se reč koju ispitanik definiše nalazi; b) vektora tačnog odgovora (zlatnog standarda); v) vektora njemu najsličnijeg odgovora. 
Što je skor sličnosti između vektora dokumenta A i vektora dokumenta B veći, veća je i povezanost između dokumenata (Rahutomo, Kitasuka, and Aritsugi 2012). 
Na osnovu dobijenog skora odgovore smo klasifikovali prema tačnosti korišćenjem algoritma k najbližih suseda (engl. k-Nearest Neighbor, knn) (Li, Yu, and Lu 2003; Peterson 2009), prvo u dve kategorije — tačno (t) i netačno (n), a zatim u više kategorija prema kriterijumima opisanim u tabeli 2. 
Pre nego što klasifikujemo odgovore, pogledaćemo raspodelu podataka po temama, kako bismo videli koliko dobro naš model radi. 
Raspodela vrednosti po temama najneujednačenija je kod tekstova, dok je kod definicija i odgovora nešto ujednačenija, ali i dalje nepravilno raspoređena. 
Pretpostavljamo da je razlog manjoj standardnoj devijaciji (engl. standard deviation, std) (Urdan 2005) podataka u definicijama i odgovora koherentnija forma teksta u odnosnu na tekstove. 
U	tekstovima, maksimalne vrednosti tema kreću se od 0,5617 kod teme Volcanology, pa do 0,3638 kod teme Dating, dok se minimalne vrednosti kreću između 0,3878 za EarthFormation, pa sve do -0,001 za temu Dat-ing, a vrednosti unutar samih tema raspršene su u odnosu na prosek. 
Kod definicija, maksimalne vrednosti tema nešto su ujednačenije. 
Najveću maksimalnu vrednosti ima tema Weathering (0,7067), a najmanju Landslides (0,3547). 
Gotovo sve minimalne vrednosti tema su negativne, izuzev teme EarthFormation sa minimalnom vrednošću od 0,0193. 
Dok su neke definicije geoloških pojmova dobro raspoređene po temama, na primer debris ima visoke vrednosti u temama EarthFormation, Weath-ering i Landslides, definicije reči fossil, fossilised, fossilisation nemaju visoke vrednosti u temi Fossils, što znači da prema našem modelu, ova tema ne opisuje ove pojmove u dovoljnoj meri. 
Raspodelu akademskih reči po temama nešto je teže evaluirati kako se teme odnose na geološke oblasti. 
Frazalni glagol wear away ima visoke vrednosti kod tema EarthFormation, Erosion i Weathering, što se uklapa sa njegovim značenjem. 
Ipak, reči opšteg vokabulara kao što su prilozi therefore, yet, anyway itd, verovatno je bilo najproblematičnije rasporediti po temama, jer se ponavljaju kroz sve teme. 
Maksimalne vrednosti tema u odgovorima ispitanika variraju, od najveće 0,7042 kod teme TectonicPlates, pa do najmanje maksimalne vrednosti od svega 0,3612 za temu Landslides. 
Minimalne vrednosti uglavnom su negativne, i kreću se od -0,5557 kod teme Minerals, pa do 0 za vrednost teme EarthFormation. 
Odgovori na isto pitanje uglavnom imaju sličnu raspodelu vrednosti po temama pa se tako na primer kod odgovora na pitanje global warming najveće vrednosti u većini odgovora javljaju kod teme EarthFormation, a najmanje vrednosti su kod tema Erosion i Landslides. 
Kod kratkih, nepotpunih odgovora, vrednosti svih tema su 0. 
Izlaganje rezultata započećemo predstavljanjem dominantnih tema u	tekstovima, definicijama i odgovorima ispitanika. 
U narednom odeljku, predstavićemo način izračunavanja tačnosti odgovora i uraditi analizu dobijenih rezultata. 
Na kraju, pogledaćemo rezultate dobijene klasifikacijom odgovora prema tačnosti korišćenjem knn algoritma. 
Za svaki uzorak u svakom delu podataka izdvojili smo tri dominantne teme. 
U tekstovima lekcija tema EarthFormation najfrekventnija je i kao prva i kao druga dominantna tema. Kao prva dominantna tema javlja se u 21 dokumentu, kao druga u 11 dokumenata, a kao treća u dva (grafikon na slici 1). 
Jedina tema koja se nijednom ne javlja kao prva dominantna je tema Dating, ali je na drugom mestu po frekvenciji kao druga dominantna tema, zajedno sa temom Minerals. 
Sve teme se javljaju na mestu druge dominantne teme, od čega se tema Landslides javlja samo jednom, u tekstu Mass Wasting and Types of Landslides. Jedina tema koja se nijednom ne pojavljuje kao treća dominantna je tema Erosion. 
Slika 1: Frekvencija dominantnih tema u tekstovima lekcija. 
Kada su u pitanju vrednosti dominantnih tema, najmanju raspršenost vidimo kod prve dominantne teme, koja se kreće od oko 0,3 do oko 0,6, 
dok su vrednosti druge i treće dominantne teme nešto raspršenije i niže, ispod 0,1 do oko 0,4 za drugu, a za treću se kreću od negativnih, pa sve do oko 0,4 (slika 2). 
Dominantne teme tekstova uglavnom su dobro određene, sa izuzetkom teksta Mineral Evolution, kod kojeg se tema Minerals ne javlja među dominantnim, dok se javlja u narednom tekstu iste lekcije, Physical Property, koja govori o nastajanju i fizičkim osobinama minerala. 
Slika 2: Vrednosti dominantnih tema u tekstovima lekcija. 
Na osnovu dobijenih rezultata možemo zaključiti da postoje velike razlike u vrednostima prve i druge dominantne teme u dokumentu. 
Ipak, druga i treća dominantna tema često nam specifičnije govore o čemu se radi u tekstu, pa prilikom analize sve tri dominantne teme treba uzeti u obzir. 
Kao i kod tekstova, tema EarthFormation je i u definicijama najfrekventnija kao prva i druga dominantna tema. 
Za njom sledi tema TectonicPlates, a bliske su joj i Fossils, Volcanology i Landslides. Tema Minerals se najmanje puta javlja kao prva dominantna, ali je kao druga najčešća (slika 3). 
Slika 3: Dominantne teme u definicijama. 
U	definiciji reči glaciation, kao dominantne teme dodeljene su Weathering, EarthFormation i Volcanology. 
Sa druge strane, definicija reči earthflow smeštena je prvenstveno u teme Fossils, EarthFormation, TectonicPlates, iako bismo je intuitivno pre svrstali u Erosion, Landslides i Weathering. 
Kada su u pitanju vrednosti dominantnih tema, najveće razlike vidimo u vrednostima prve dominantne teme, koja se u	definicijama kreće od preko 0,7, pa do ispod 0,1. 
Vrednosti druge dominantne teme nešto su niže od prve, ali podjednako rasejanje, dok su vrednosti treće dominantne teme uglavnom relativno niske, ispod 0,4, i relativno homogene (slika 4). 
Slika 4: Vrednosti dominantih tema u definicijama. 
U	odgovorima ispitanika tema EarthFormation takođe je najfrekventnija na sva tri mesta, pri čemu se kao prva dominantna tema javlja u 31, kao duga u 25, kao treća u 18 odgovora. 
Kao prva dominantna tema na drugom mestu nalazi se Landslides sa najvećim vrednostima u 10 odgovora, a kao druga Erosion u 12 odgovora. 
Frekvencije tema na mestu treće dominantne su poprilično ujednačene, izuzev teme Landslides koja se javlja svega dva puta (slika 5). 
Slika 5: Dominantne teme u odgovorima ispitanika. 
Dužim odgovorima na isto pitanje uglavnom su dodeljene iste dominantne teme. 
Tako su u svim odgovorima na pitanje global warming dominantne teme EarthFormation, Volcanology i Minerals ili Dating. 
Kod odgovora na pitanje sedimentary rock kao prve dve dominantne teme ponavljaju se EarthFormation i Landslides, dok se kao treća smenjuju Fossils, Dating i Erosion. 
Nulte vrednosti tema objašnjene su neraspoređenim odgovorima (slika 6). 
Slika 6: Vrednosti dominantnih tema u odgovorima ispitanika. 
Nakon što smo pogledali raspodelu tema, njihovih vrednosti, te dominantnih tema u svim delovima podataka, uporedili smo izdvojene dominantne teme za iste pojmove u odgovorima, definicijama i tekstovima lekcija gde se pojam javlja (tabele 5 i 6). 
Tabela 5: Dominantne teme za termin transpire 
Tabela 6: Dominantne teme za termin global warming 
Na primer, kod reči transpire izdvojene dominantne teme u odgovoru, definiciji i tekstovima se ne pokapaju, a vrednosti dominantnih tema razlikuju se u svim delovima podataka (tabela 5). 
Kod pojma global warming uočili smo veliki stepen preklapanja dominantnih tema u odgovorima, definiciji i tekstovima (tabela 6). 
Pretpostavljamo da je razlog velikog preklapanja to što na ovo pitanje imamo više dužih odgovora koji sadrže termine koji imaju velike težine u temama, pa je time olakšano i raspoređivanje. 
Korišćenjem kosinusne sličnosti, izmerili smo sličnosti između vektora dobijenih nakon primene svd na tf-idf matricu svih tekstova u udžbeniku, a zatim pronašli međusobno najsličnije tekstove. 
Na osnovu ovoga, dobili smo uvid u to koliko je dobro naš lsa model pronašao latentne teme u tekstovima. 
Analizom dobijenih rezultata možemo zaključiti da su latentne teme u tekstovima dobro određene, i da međusobno najsličniji tekstovi govore o istim temama. 
Tako je na primer u tekstu o Vagnerovoj hipotezi, u kojem se objašnjava kako ova teza pretpostavlja postojanje Pangee, najsličniji tekst o tektonskim pločama, a tekstu o vulkanima najbliži je tekst o vulkanskom kamenju (tabela 7). 
Tabela 7: Primeri međusobno najsličnijih tekstova 
U	ovom delu rada, predstavićemo rezultate dobijene merenjem kosinusne sličnosti vektora odgovora a sa: (1) vektorom tekstova lekcije u kojoj se reč koju je ispitanik trebalo da definiše nalazi; (2)	vektorom tačnog odgovor; (3) njemu najsličnijim odgovorom b. 
Kako bismo videli da li postoje razlike u skoru tačnih i netačnih odgovora, pogledaćemo raspodelu vrednosti konačnog skora odgovora po tačnosti u dve i više kategorija na osnovu procena evaluatora. 
Pri poređenju odgovora i tekstova, poredili smo odgovore ispitanika sa tri teksta lekcije u kojoj se definisana reč javlja, a	zatim izračunali aritmetičku sredinu dobijenih kosinusnih sličnosti tekstova kako bismo dobili sličnost sa celom lekcijom. 
Dobijene rezultate treba uzeti sa zadrškom, jer se vektori pojedinačnih tekstova zasigurno razlikuju od vektora cele lekcije. 
Kod dužih odgovora uočene su veće sličnosti sa tekstovima, naročito kada su u pitanju geološki pojmovi kao što su global warming, sedimentary rock. 
Kod odgovora na pitanje hypothesis sličnost je u jednom odgovoru 0, dok je u drugom poprilično visoka (tabela 8). 
Tabela 8: Rezultati izmerenih kosinusnih sličnosti —- primeri za sličnost odgovora i teksta; idp – id pitanja, idi – id ispitanika 
Kao što vidimo, raspodela vrednosti sličnosti tačnih odgovora i teksta nešto su više nego kod netačnih odgovora. 
Kod raspodele vrednosti u pet kategorija tačnosti odgovora, najveći raspon imamo u vrednostima kategorija 3 i 5. 
Najniže vrednosti imaju odgovori sa ocenom 1. 
Autlejeri (engl. outliers) su odgovori na pitanja chemical weathering i convergent (slika 7). 
Slika 7: Raspodela sličnosti između odgovora ispitanika i tekstova. 
Kosinusna sličnost odgovora i tačnog odgovora verovatno je najbolji pokazatelj tačnosti i potpunosti odgovora ispitanika. 
Svaki odgovor poređen je samo sa jednom definicijom, tako da u ovom koraku poredimo sličnost dva kratka teksta, pa dobijamo uvid u to kako naš lsa model zapravo radi na kratkom tekstu i na formi definicije. 
Na primer, u	pitanju convergent ispitanik 4 definisao je reč kao matematički pojam, što nije netačno, međutim, nije značenje reči koje se traži, pa je i sličnost sa tačnim odgovorom poprilično niska (tabela 9). 
Takođe, definicija reči straightforward, gde imamo nedovršen odgovor, ima veoma nisku sličnost sa tačnim odgovorom (tabela 9). 
Sa druge strane, neki tačni odgovori imaju negativne kosinusne sličnosti sa tačnim odgovorom (petrologist)21  (tabela 9). 
Pretpostavljamo da je razlog ovome dužina odgovora. 
Tabela 9: Rezultati izmerenih kosinusnih sličnosti —- primeri za sličnost odgovora i tačnog odgovora; idp - id pitanja, idi - id ispitanika 
Takođe, na rezultate je mogla uticati i velika težina funkcionalnih reči (be, of, in, to, or, by itd.) u temama definicija. 
Uklanjanje funkcionalnih reči sa velikim težinama iz definicija moglo bi rešiti ovaj problem. 
Kao što možemo videti, kod tačnih odgovora imamo veći raspon vrednosti nego kod netačnih. 
Niske vrednosti kod tačnih odgovora mogu postojati usled kratkih odgovora koji su procenjeni kao tačni (slika 8). 
U	sličnostima odgovora ispitanika i tačnog odgovora, najveći raspon u vrednostima uočavamo kod odgovora ocenjenih sa kao potpuno tačnih (ocena 5). 
Niske sličnosti odgovora u ovoj kategoriji i tačnog odgovora uočili smo kod odgovora gde je ispitanik koristio reči sinonimne onima u tačnom odgovoru (slika 8). 
Slika 8: Raspodela sličnosti između odgovora i definicija. 
Treća izmerena sličnost je sličnost svih odgovora, koju smo izmerili na isti način kao sličnost između svih tekstova. 
Za razliku od tekstova, najsličniji odgovori nisu najbolje određeni. 
Dobijene sličnosti kreću se od oko 0,7 do oko 0,9. 
U slučajevima gde je vektor odgovora 0, dobili smo najveću sličnost 0 sa prvim odgovorom u podacima (tabela 10). 
Kao najsličniji određeni su odgovori koji ne dele zajedničke termine, zatim odgovori na isto pitanje koji imaju dosta zajedničkih termina, ali i odgovori na različita pitanja koji sadrže iste termine, npr. hydrological čcle i seabed, gde oba odgovora sadrže reči kao što su earth, ocean, surface (tabela 10). 
Tabela 10: Međusobno najsličniji odgovori 
Raspodela između tačnih i netačnih odgovora je gotovo ista, pošto su uzimane vrednosti najvećih kosinusnih sličnosti. U vrednostima međusobne sličnosti odgovora, najveći raspon vrednosti imamo kod odgovora sa ocenom 2 (slika 9). 
Slika 9: Raspodela međusobne sličnosti svih odgovora. 
Na kraju, izračunali smo konačan skor svakog odgovora. 
Najmanja vrednost u konačnom skoru je 0, i to kod prethodno pomenutih kratkih odgovora. U dužim odgovorima sve tri sličnosti su približno jednake. 
Kod raspodele vrednosti konačnog skora u dvema kategorijama, ponovo dobijamo niže vrednosti kod tačnih nego kod netačnih odgovora, ali i veći raspon vrednosti tačnih odgovora. 
Na visoke vrednosti netačnih odgovora verovatno je uticala sličnost sa najsličnijim odgovorom (slika 10). 
Kod raspodele skora prema pet kategorija, vrednosti su najraspršenije kod ocene 2, a najzbijenije kod ocene 1, dok više ocene imaju relativno slične konačne skorove (slika 10). 
Slika 10: Raspodela vrednosti skora odgovora. 
Naposletku možemo zaključiti da je lsa dala dobre rezultate kada su u pitanju tekstovi lekcija. 
Sa druge strane, kada su u pitanju definicije i odgovori, rezultati su nešto lošiji, naročito kod pronalaženja skrivenih tema u veoma kratkim odgovorima, te u	odgovorima u kojima je ispitanik trebalo da definiše reč koja ne pripada domenu geologije. 
Takođe, kosinusne sličnosti tačnih i netačnih odgovora se veoma malo razlikuju, pa se dovodi u pitanje ovakav način procene tačnosti. 
Na kraju, izvršili smo klasifikaciju odgovora prema tačnosti u dve kategorije (engl. binary classification) i u više kategorija (engl. multiclass/multinominal classification). 
Za klasifikaciju je korišćen knn algoritam (Li, Yu, and Lu 2003; Peterson 2009; Chen 2018), oznake su ocene koje je odgovorima dodelio evaluator, a kriterijum je konačni skor odgovora. 
Za evaluaciju modela uzeti su odziv, preciznost i F1 mera (G´eron 2022). 
Pri binarnoj klasifikaciji odgovori su klasifikovani na tačne i	netačne. 
U podacima imamo 60 tačnih i 12 netačnih odgovora. 
Usled mnogo većeg broja tačnih odgovora u podacima, model je sve odgovore klasifikovao kao tačne (tabela 11a). 
Procenjena preciznost modela je 73%, odziv 100%, a F1 = 0, 85. 
Pošto radimo sa relativno malim skupom podataka od 72 uzorka, pa se samim tim test skup podataka sastoji od svega 15 uzoraka, ovi rezultati ne daju realnu sliku valjanosti modela, 
s	obzirom na to da se podaci na trening i test skup dele nasumično, i može se desiti da svi uzorci u test skupu podataka imaju istu oznaku. 
Prilikom klasifikacije u više kategorija, takođe nemamo jednaku frekvenciju kategorija, gde su najmanje zastupljeni netačni (5) i sasvim tačni odgovori (7), pa očekujemo da će to uticati na rezultate. 
Odgovori sa ocenama 3, 4 i 5 imaju prilično jednaku raspodelu, sa 17, 21 i 22 odgovora. 
Kao što vidimo na osnovu matrice konfuzije, model je najviše problema imao sa predviđanjem odgovora sa ocenom 1. 
U test bazi se od ukupno sedam odgovora ocenjenih sa 5 našlo čak šest odgovora, a model je tačno svrstao tri (tabela 11b). 
Tabela 11: Matrice konfuzije 
Dobijena preciznost modela je 50%, odziv je 47%, a F1 = 0, 46, što je umnogome lošije nego kod binarne klasifikacije. 
Pretpostavljamo da je ovakvim rezultatima doprineo mali test skup podataka, nejednaka raspodela oznaka u test i trening skupu, kao i slična raspodela konačnog skora odgovora u različitim kategorijama tačnosti. 
U okviru ovog rada bavili smo se primenom latentne semantičke analize u svrhe procene tačnosti kratkih odgovora. 
U skladu sa postavljenim pedagoškim ciljevima rada, zaključili smo da upotreba digitalnih leksičkih kartica u svrhe usvajanja vokabulara drugog jezika daje povoljne rezultate, naročito na nižim nivoima znanja jezika. 
Kako studenti Rudarsko-geološkog fakulteta dolaze iz različitih obrazovnih pozadina, te uglavnom sa niskim nivoom početnog znanja jezika, smatramo da bi uvođenje sistema digitalnih leksičkih kartica koje prate nastavne materijale u praksu u velikoj meri pomoglo studentima da brže napreduju, te dostignu nivo poznavanja vokabulara na kojima bi mogli da prate nastavu clil metodom. 
Kada su u pitanju metodološki ciljevi rada, izrada opisanog modela pomogla nam je da uočimo prednosti i nedostatke našeg pristupa. 
Jedna od glavnih uočenih prednosti je dobro modelovanje tema na dužem tekstu, kao i na definicijama i odgovorima ispitanika iz domena geologije. 
Smatramo da je glavni nedostatak modela nemogućnost detektovanja tema u veoma kratkim odgovorima, što bi se moglo prevazići radom na većem skupu podataka. 
Planirani razvoj ovog projekta podrazumeva širenje skupa podataka, 
zatim uvođenje sistema za procenu tačnosti pisanja i procenu gramatičke ispravnosti odgovora. 
Kako bismo pospešili rezultate dobijene lsa, pokušaćemo da vidimo kako model radi sa manje dimenzija i ukoliko se kreiraju zasebni semantički prostori za geološki i za opšti vokabular. 
Prilikom poređenja odgovora i lekcije, smatramo da bi umesto poređenja sa celom lekcijom, bilo bolje porediti odgovor i fragment teksta gde je određeni geološki pojam opisan, tj. gde se opšti pojam koji je ispitanik trebalo da definiše upotrebljava. 
Takođe, umesto računanja sličnosti svih odgovora, računali bismo sličnosti između odgovora na isto pitanje. 
Izradom predstavljenog modela postavili smo temelje za dalji razvoj sistema za procenu tačnosti odgovora u okviru digitalnih leksičkih kartica. 
Poređenjem ciljeva clil metoda nastave i ishoda upotrebe digitalnih leksičkih kartica u nastavi, zaključili smo da je ovo tehnologija koja bi upotpunila udžbenik u pripremi prof. dr Lidije Beko, 
a našu tvrdnju dodatno je podržao pozitivan stav prema upotrebi digitalnih leksičkih kartica u nastavi jezika koji su studenti Rudarsko-geološkog fakulteta Univerziteta u Beogradu koji su slušali predmete Engleski jezik 1–4 iskazali u prethodnim istraživanjima. 
Daljim istraživanjem nastojaćemo da ispunimo konačni cilj projekta —- izradu sistema digitalnih leksičkih kartica, koje će biti primenjivane u nastavi. 
Kako je ovaj rad nastao iz master rada izrađenog u okviru interdisciplinarnog master programa Računarstvo u društvenim naukama pri Univerzitetu u Beogradu, želela bih da se zahvalim prof. dr Ranki Stanković za mentorstvo pri izradi master rada, za strpljenje i pružene smernice, znanje i podršku. 
Takođe bih želela da se zahvalim prof. dr Lidiji Beko što me je pozvala da svoj master rad radim na njenom udžbeniku u pripremi, koji će se koristiti u	nastavi predmeta Engleski 1–4 na Rudarsko-geološkom fakultetu, Univerziteta u Beogradu. 
Na kraju, zahvalila bih se članici komisije za odbranu master rada prof. dr Jeleni Jovanović, jer su njena pitanja prilikom odbrane rada doprinela ispravkama u ovoj verziji rada. 
