GRUPNA RASPODELA RADA I NJEGOVA PRIMENA  
Jelena Mitrović, jmitrovic@gmail.com, Univerzitet u Beogradu, Filološki fakultet 
Apstrakt 
Cilj ovog rada je da ukaže na značaj grupne raspodele rada (eng. Crowdsourcing), te da pruži prikaz nekih uspešnih projekata koji funkcionišu na osnovu ovog modela upravljanja koji se iz poslovnog sveta preselio u svet kulture i nauke. 
Sprovedeno je istraživanje načina na koji sistemi grupne raspodele rada funkcionišu kao i tehnologija na kojima se zasnivaju. 
Utvrđeni su neki od uslova koje je potrebno ispuniti da bi jedan sistem grupne raspodele rada bio uspešan i dati su neki primeri dobre prakse, s posebnim osvrtom na projekte u oblasti obrade prirodnih jezika (eng. Natural Language Processing – NLP) koji su sprovedeni zahvaljujući ovom novom načinu raspodele rada.  
Ključne reči 
grupna raspodela rada, mikrozadaci, MTurk, obrada prirodnih jezika, wordnet 
1.Uvod  
Sa razvojem veb 2.0 (eng. Web 2.0) tehnologija (Murugesan 2007) omogućen je brži razvoj i napredak paradigme digitalne humanistike kao interdisciplinarne oblasti istraživanja koja povezuje humanističke nauke sa informaciono-komunikacionim tehnologijama (eng. ICT). 
Za razliku od mnogih drugih interdisciplinarnih oblasti istraživanja, digitalna humanistika ima veoma dobro poznat početak –  
1949. godinu, kada je otac Roberto Busa, italijanski jezuitski sveštenik, odlučio da uz pomoć računara napravi takozvani index verborum svih reči koje su korišćene u delima Svetog Tome Akvinskog, što je oko jedanaest miliona reči srednjovekovnog latinskog. 
Danas je taj indeks poznat kao Index Thomisticus (Schreibman et. al. 2004). 
Termin veb 2.0 prvi put je u članku pod nazivom “Fragmented future” januara 1999. godine upotrebila Darsi DiNuči (Darcy Dinucci). 
Ona je u svom članku naglasila da je tadašnji veb, koji je još uvek bio statičan i zasnivao se na pukom učitavanju stranica u veb čitače, samo embrion veba koji će tek nastati. 
Darsi DiNuči je predvidela da će veb postati neka vrsta transportnog mehanizma koji će omogućiti interaktivnost (Dinucci 1999). 
Veb 2.0 je, pored mnogih drugih inovacija, doneo i sajt Vikipedija (eng. Wikipedia), bez koga danas ne možemo da zamislimo potragu za informacijama, a koji dozvoljava razmenu i unapređivanje znanja na mnogim nivoima. 
Sajtovi društvenih mreža kao što su Fejsbuk (eng. Facebook) i Tviter (eng. Twitter), kao i mnogobrojni sajtovi nastali zahvaljujući blog tehnologiji, otvaraju potpuno nove horizonte saradnje, i ako se koriste na pravi način, mogu umnogome doprineti razvoju raznih oblasti humanistike. 
Ovi sajtovi se često koriste za projekte grupne raspodele rada (eng. crowdsourcing), a Vikipedija se smatra jednim od prvih takvih projekata (Doan et. al. 2011). 
Uopšteno govoreći, veb 2.0 je tehnološka osnova na kojoj se grupna raspodela rada razvija i deluje (Vuković and Bartolini 2010).  
2.Neke definicije grupne raspodele rada 
Danas postoje mnoge vrste grupne raspodele rada, ali i razne definicije ovog pojma. 
Termin grupna raspodela rada uveo je Džef Haui (eng. Jeff Howe) i nazvao ga poslovnom praksom koja doslovno znači raspodeliti zadatke (eng. termin koji je upotrebljen je „outsource“) u nekom projektu grupi ljudi (Howe 2006). 
Haui je ukazao na značaj ovog načina raspodele rada i nazvao ga mehanizmom po kome se talenat i znanje jedne grupe ljudi mogu upariti sa potrebama drugih (Howe 2008). 
Autor (Brabham 2008a) grupnu raspodelu rada definiše kao model distribuiran preko interneta, koji se koristi za rešavanje problema i proizvodnju, a koriste ga profitne organizacije poput Threadless i iStock. 
Isti autor u drugom radu (Brabham 2008b) definiše grupnu raspodelu rada kao strateški model koji privlači zainteresovanu, motivisanu grupu ljudi koji su sposobni da pruže rešenja koja kvalitetom i kvantitetom prevazilaze rešenja koja se mogu dobiti tradicionalnim oblicima poslovanja. 
Autori (Buecheler et. al. 2010) opisuju grupnu raspodelu rada kao posebnu vrstu kolektivne inteligencije (eng. collective intelligence). 
U radu (Grier 2011) se grupna raspodela rada opisuje kao način da se internet upotrebi za korišćenje doprinosa velikog broja ljudi koji drugačije ne bi imali priliku da sarađuju na istim projektima. 
Drugi autor (Kazai 2011) ovu vrstu saradnje smatra otvorenim pozivom grupi ljudi da reše neki problem ili da izvrše neki zadatak za koji je neophodna ljudska inteligencija, dakle računari ga ne mogu obaviti, obično u zamenu za malu novčanu nadoknadu, sticanje statusa u društvu ili radi zabave. 
Jedna od najsveobuhvatnijih definicija grupne raspodele rada data je u (Estellés-Arolas and González-Ladrón-de-Guevara 2012) – „Grupna raspodela rada je vrsta učestvovanja u nekoj aktivnosti u kojoj osoba, institucija, neprofitna organizacija ili kompanija nude grupi osoba različitih nivoa znanja, heterogenosti i broja, preko fleksibilnog otvorenog poziva, da se dobrovoljno posvete nekom zadatku. 
Posvećivanje zadatku, koji je raznolike kompleksnosti i modularnosti i u kome grupa ljudi učestvuje svojim znanjem i/ili iskustvom, novcem, radom, uvek uključuje uzajamnu korist. 
Korisniku će biti zadovoljena neka potreba, bilo da je to ekonomska, društvena, lična potreba, ili razvijanje sopstvenih veština, dok će osoba, institucija ili organizacija koja nudi zadatak, ono čime su korisnici doprineli, a čiji oblik će zavisiti od vrste zadatka, iskoristiti u svoju korist.” 
3.Upravljanje projektom grupne raspodele rada 
Pri organizovanju projekata grupne raspodele rada moramo imati spremne odgovore na mnoga pitanja. 
Od odgovora na ta pitanja umnogome zavisi uspešno upravljanje projektima koje želimo da sprovedemo oslanjajući se na paradigmu grupne raspodele rada. 
U tom smislu, neka od najznačajnijih pitanja biće razmotrena u narednim segmentima ovog rada.  
3.1. Ko čini grupu ljudi koji će učestvovati u projektu? 
Na osnovu do sada sprovedenih projekata grupne raspodele rada pokazalo se da je za različite vrste ovih projekata neophodno angažovati drugačije strukturirane grupe ljudi, kako bi grupna mudrost (eng. Wisdom of the Crowd) bila što bolje iskorišćena. 
Grupna mudrost odnosi se na pojavu da u nekom projektu grupa koja se sastoji od velikog broja učesnika može biti mnogo uspešnija od nekoliko stručnjaka. 
Na primeru sajta Vikipedija dokazano je da veliki broj učesnika koji čine jednu heterogenu grupu, u smislu nivoa obrazovanja i stručnosti, poboljšava nivo kvaliteta članaka na Vikipediji (Arazy et.al 2006). 
U nekim projektima je bolje koristiti doprinos što heterogenije grupe osoba (na primer, za projekte obeležavanja slika ili za projekte koji uključuju prikupljanje mišljenja o novim proizvodima). 
Ipak, u nekim projektima je neophodno uposliti grupu ljudi koja je homogena, to jest sličnog nivoa obrazovanja i stručnosti, kako bi rezultati bili bolji, na primer u slučaju umetničkih projekata, gde je neophodno iznaći rešenje za dizajn novog proizvoda i tako dalxe (Estellés-Arolas and González-Ladrón-de-Guevara 2012), kao što je slučaj sa kreativnim poduhvatima (na primer, u prethodno pomenutim projektim Theadless i iStock). 
3.2. Kako će učesnici obavljati zadatke? 
Doprinos učesnika u jednom projektu grupne raspodele rada umnogome zavisi od načina raspodele zadataka. 
Kada govorimo o načinu raspodele zadataka grupi ljudi u jednom projektu grupne raspodele rada, postoji podela na mikrozadatke i makrozadatke. 
U slučaju mikrozadataka, svaki učesnik u projektu grupne raspodele rada ispunjava više malih delova celokupnog zadatka, da bi se na kraju sva rešenja „sklopila“ u konačno rešenje do koga je trebalo doći u datom projektu. 
Makrozadaci, s druge strane, odnose se na pružanje čitavog zadatka ili problema na uvid grupi ljudi, kako bi svako mogao da odredi koji i koliki deo će rešiti i kako će projektu doprineti u skladu sa svojim znanjima i kompetencijama. 
Pokazalo se da se kroz mikrozadatke zadaci obavljaju brže i efikasnije nego kada bi te iste zadatke na uobičajen način obavljale zaposlene osobe u okviru obaveza koje im nalaže radno mesto (Chamberlain et.al. 2012). 
Mikrozadaci su mali, dobro definisani zadaci koje preko određenih platformi (kao što su MTurk i Crowdflower) obavlja grupa ljudi. 
Problemi koji se mogu rešiti preko mikrozadataka su oni problemi koji se lako mogu podeliti na veliki broj jednostavnih zadataka, kako bi radnici, to jest učesnici u projektu grupne raspodele rada, mogli lako da ih reše, za relativno kratko vreme, bez posedovanja nekih specifičnih znanja i veština. 
Tako se mikrozadaci mogu koristiti za označavanje i razvrstavanje sadržaja (Maji 2011), za pronalaženje specifičnih sadržaja na internetu, i uopšte za zadatke koje ljudi s lakoćom obavljaju, za razliku od računarskih programa.  
Da bi se mikrozadaci pružili na uvid potencijalnim učesnicima u projektu neophodno je da budu dobro definisani, dakle da učesnicima bude jasno šta treba da urade, 
te da mikrozadaci budu na neki način organizovani u grupe, bilo da je to po sličnosti ili po pripadnosti istom delu projekta. 
Jedna od najpopularnijih platformi na kojoj se može sprovesti projekat grupne raspodele rada preko mikrozadataka jeste Mechanical Turk (MTurk), kompanije Amazon. 
Mikrozadaci na MTurk platformi nose naziv HIT (eng. Human Intelligence Tasks). 
Prilikom postavljanja mikrozadataka, vođa projekta može da odredi više parametara – koliko odgovora je potrebno za svaki mikrozadatak; 
može se odrediti kome je dozvoljeno da rešava neke zadatke, recimo, u zavisnosti od nivoa poznavanja nekog stranog jezika ( u slučaju projekata koji se bave poboljšavanjem rezultata mašinskog prevođenja), i tako dalxe 
Amazon Mechanical Turk ustvari pruža API (eng. Application Program Interface) to jest aplikacionu programsku sumeđu za veb servise (ova sumeđa definiše načine na koje veb servis može da se koristi, te određuje rečnik i pravila pozivanja koja programer treba da primeni da bi koristio te servise). 
Ona se može koristiti da bi se preko Amazon Mechanical Turk veb sajta zadaci postavili, da bi se oni koji su ispunjeni odobrili i da bi se odgovori uvrstili u druge softverske aplikacije. (Kittur 2008; Vukovic et. al. 2010; Doan et. al. 2011) 
3.3 Kako motivisati učesnike da doprinesu projektu grupne raspodele rada? 
Ovo je jedno od najvažnijih pitanja koja se postavljaju prilikom organizovanja jednog projekta grupne raspodele rada. 
Ovde fali recenica. 
Autori (Estellés-Arolas and González-Ladrón-de-Guevara 2012) povezuju nadoknadu učesnicima sa Maslovljevom piramidom potreba (Maslow 1943). 
Tako motivacija, pored novčane nadoknade, može biti i prilika da se razviju kreativne sposobnosti i druge veštine, da se zabavimo, da podelimo znanje s drugima, ljubav prema zajednici, privrženost zadatku koji treba obaviti, želja da u društvu kome pripadamo budemo prepoznati zahvaljujući svojim doprinosima nekom projektu. 
U (Chamberlain et. al. 2012) su navedena tri glavna načina za podsticanje učesnika projekta grupne raspodele rada: lični, društveni i finansijski način. 
1) Lični motivi ogledaju se u želji učesnika da jednostavno budu deo nekog projekta. 
Uopšteno rečeno, lični motiv je prisutan uvek kada je korisniku sâmo učestvovanje u projektu dovoljna nagrada i kada neko želi da doprinese projektu za koji smatra da je vredan. 
Dobar primer motivacije učesnika vidi se u projektu Duolingo, u kome učesnici prevode delove veba, a ono što dobijaju zauzvrat jeste prilika da besplatno uče strane jezike, i to na dobro strukturiran i stručan način (Vesselinov 2012). 
2) Društveni motiv i način podsticanja odnosi se na nagrađivanje poboljšavanjem društvenog statusa korisnika u kontekstu društvenih internet mreža i u odnosu na druge učesnike u projektu grupne raspodele rada. 
Pokazalo se da je korišćenje sistema bodovanja i nivoa efikasno, jer učesnici često ispunjavaju više zadataka propisanih projektom upravo da bi dostigli veći broj bodova i prešli na sledeći nivo (Von Ahn and Dabbish 2008).  
3) Kada govorimo o novčanoj nadoknadi, to jest podsticanju učesnika projekta grupne raspodele rada na finansijski način, Amazon Mechanical Turk se nameće kao platforma koja se u te svrhe najčešće koristi. 
Za svaki zadatak koji učesnik obavi preko ove platforme, određena je suma novca koju će dobiti. 
Amazon.com, kao vlasnik ove platforme, za svaku pojedinačnu isplatu koju učesnik u projektu dobije uzima dodatnih deset posto od osobe ili organizacije koja je osmislila dati projekat. 
Najniža cena koja se može ponuditi za pojedinačni zadatak na ovoj platformi jeste $0.005 po zadatku. 
3.4. Kako proveriti kvalitet doprinosa učesnika u projektu grupne raspodele rada?  
Raspodelom zadataka na platformi kakva je Amazon Mechanical Turk i druge slične platforme, uvek postoji opasnost od zloupotreba, to jest dešava se da učesnici namerno daju pogrešne odgovore ili rešavaju neke zadatke samo da bi ispunili minimum propisanih uslova i dobili određenu kompenzaciju. 
Zato se koriste razne metode evaluacije, počev od provere redundancijom (eng. Redundancy check) na osnovu modela provere u kojima više učesnika obavlja isti zadatak (Oleson et. al. 2011) 
čime se, pored utvrđivanja tačnog odgovora, može izmeriti kvalitet doprinosa učesnika u jednom projektu grupne raspodele rada. 
Dalje, često korišćen metod evaluacije opisan je u (Dawid and Skene 1979), gde se provera pouzdanosti doprinosa učesnika zasniva na statističkom algoritmu pod nazivom Očekivanje-maksimizacija (eng. Expectation Maximization – EM) čiji je rezultat skup procenjenih tačnih odgovora za svaki zadatak, kao i matrica koja, za svakog učesnika ponaosob, daje verovatnoću pravljenja greške. 
Iz te matrice se direktno može izmeriti kvalitet rada svakog radnika. 
Sličan pristup predstavljen je u (Ipeirotis et. al. 2010) gde se EM algoritam koristi za izračunavanje kvaliteta doprinosa za svakog učesnika u projektu, a prilagođen je slučajevima kada može doći do grešaka, te se za svakog učesnika dobija i stopa greške, čime se može izračunati pravo stanje kvaliteta rada pojedinačnih učesnika u projektu grupne raspodele rada.  
Rešenje koje se uspešno primenjuje u mnogim projektima grupne raspodele rada jeste uspostavljanje sistema „zlatnih zadataka“ (u literaturi se javljaju i termini „zlatni standard“ i „zlatna jedinica“) kojima se unapređuje osnovna funkcionalnost platformi na kojima se izvršavaju zadaci grupne raspodele rada. 
Zlatni zadaci su oni zadaci za koje je odgovor već poznat, ili je trivijalan, te se preciznost odgovora učesnika u projektu određuje na osnovu odgovora na zlatne zadatke. 
Pomoću njih se može ustanoviti da li se nekim učesnicima može verovati, jer ako su dali tačne odgovore na pitanja za koja sistem već zna odgovor, postoji određeni stepen sigurnosti da će i odgovori koji sistemu nisu unapred poznati biti tačni. 
Na sličnom principu funkcioniše i tehnologija ReCAPTCHA koja se koristi u mnogim projektima digitalizacije knjiga, kao i u drugim projektima grupne raspodele rada iz oblasti kulture (Mitrović 2013). 
ReCAPTCHA je besplatna CAPTCHA tehnologija koja pomaže u digitalizaciji knjiga, novina, i starih radio emisija. 
CAPTCHA (akronim od reči Completely Automated Public Turing Test to Tell Computers and Humans Apart) je program koji može da utvrdi da li je njegov korisnik ljudsko biće ili računarski program. 
ReCAPTCHA tehnologija zasniva se na ukucavanju dve reči u ponuđeni okvir na veb stranici u cilju autentikacije. 
Jedna od te dve reči je sistemu poznata, dok je druga reč ostala neprepoznata tehnikom optičkog prepoznavanja karaktera (eng. Optical Character Recognition – OCR). 
Ako korisnici, to jest osobe koje koriste internet, pravilno ukucaju reč za koju je odgovor poznat, sistem pretpostavlja da je njihov odgovor za drugu reč takođe tačan. 
Zatim se ta ista slagalica s dve reči nudi drugim korisnicima, statističkim modelima se određuje procenat tačnosti odgovora, 
te je krajnji rezultat adekvatno prepoznata reč. 
Možemo zaključiti da je ReCAPTCHA svetski projekat grupne raspodele rada zasnovan na mikrozadacima jer korisnici interneta širom sveta svakodnevno pomažu digitalizaciju knjiga, reč po reč. 
4. Evaluacija u projektima obrade prirodnih jezika  
Ako se postojeće platforme grupne raspodele rada koriste uz dodatne tehnike upravljanja i uz proveru kvaliteta obavljenih zadataka, to jest uz evaluaciju doprinosa korisnika, mnogi kompleksni zadaci mogu se uz ovaj način raspodele posla obaviti veoma uspešno. 
Tako se mikrozadaci mogu koristiti i u mnogim projektima iz oblasti obrade prirodnih jezika, obično za razne vrste anotacije i validacije. 
Takođe, u nekim projektima u kojima se koristi više platformi i više načina sakupljanja doprinosa korisnika, potrebno je iznaći rešenje za drugačiji način evaluacije. 
U radu (Munro et. al. 2010) je za evaluaciju u nekoliko projekata korišćen Kapa koeficijent. 
Kapa koeficijent (Carletta 1996) se koristi u analizi sadržaja u mnogim projektima iz oblasti računarske lingvistike, jer dozvoljava upoređivanje različitih rezultata korisnika i koristi se u slučajevima kada određivanje pouzdanosti rezultata uobičajenim metodama (na primer, pomoću zlatnih zadataka) nije dovoljno. 
U projektu CROWDMAP (Sarasua et. al. 2012) pored MTurk platforme korišćena je i platforma CrowdFlower, koja je osnova implementacije projekta. 
CrowdFlower deluje kao posrednik jer istovremeno postavlja mikrozadatke na različitim platformama (uključujući MTurk, Crowd Guru, getpaid, Snapvertise). 
U ovom projektu se grupna raspodela rada koristi da bi se preko mikrozadataka istražila veoma značajna oblast u obradi prirodnih jezika, poklapanje ontologija (eng. ontology alignment), 
to jest da bi se već postojeći, automatizovani procesi, poboljšali doprinosom ljudi. 
Evaluacija je izvršena na osnovu zlatnih zadataka, kao i pomoću Kripendorfovog alfa koeficijenta. 
Kripendorfov alfa koeficijent (eng. Krippendorff’s alpha coefficient) razvijen je za merenje poklapanja doprinosa posmatrača, ocenjivača, ili nekih instrumenata za merenje kojima se utvrđuju razlike između tipično nestrukturiranih fenomena, kao i u slučajevima kada su podaci nepotpuni. 
Kripendorfov alfa koeficijent prvobitno je korišćen za analizu sadržaja, ali primenu pronalazi u svim projektima u kojima se na isti skup objekata ili jedinica analize primenjuju dve ili više metoda generisanja podataka, a potrebno je zaključiti koliko se rezultirajućim podacima može verovati. (Kripendorff 2011). 
U projektu generisanja i analize specijalizovanog korpusa koji se može koristiti za identifikovanje sarkazma i ironije u tekstovima (Filatova 2012), takođe su korišćene dve kontrolne procedure. 
Prva vrsta provere je prosto većinsko glasanje (eng. majority voting) – učesnici su glasali za najbolja rešenja koja su ponudili drugi korisnici, 
dok je druga vrsta provere zasnovana na prethodno pomenutom Kripendorfovom alfa koeficijentu. 
U projektu Phrase Detectives (Chamberlain et. al. 2012), snaga društvene mreže Fejsbuk iskorišćena je za projekat grupne raspodele rada u kome učesnici igrajući igrice anotiraju, to jest obeležavaju delove tekstova. 
Igrači na početku „treniraju“ na tekstovima koji su određeni kao zlatni standard, ili zlatni zadaci (to su tekstovi koje su anotirali stručni lingvisti). 
Kada igrač završi anotiranje tekstova određenih za zlatni standard, dodeljuje mu se ocena na osnovu procenta tačno anotiranih „zlatnih“ tekstova. 
Ovaj projekat spada u grupu projekata grupne raspodele rada pod nazivom Igre sa svrhom (eng. Games with a Purpose). 
Značajan projekat zasnovan na Igrama sa svrhom je i projekat digitalizacije Narodne biblioteke Finske, Digitalkoot, u kome se video igrice koriste za ispravljanje grešaka nastalih u procesu optičkog prepoznavanja karaktera. (Mitrović, i dr. 2010/2011). 
Neke od prvih igara sa svrhom bile su predstavljene projektima ESP i Verbosity (Von Ahn and Dabbish 2008). 
Transcribe Bentham je takođe veoma važan projekat grupne raspodele rada. 
Nastao je na Londonskom univerzitetskom koledžu, 
a cilj mu je da preko interneta angažuje veliki broj ljudi u cilju transkripcije originalnih i neproučenih rukopisa koje je napisao veliki filozof i reformator Džeremi Bentam (eng. Jeremy Bentham) (1748-1832). 
Do sada je u okviru ovog projekta, zahvaljujući neprocenjivoj pomoći učesnika, transkribovano 95 posto sačuvanih rukopisa (Causer et.al 2012). 
5. Dogradnja Srpskog wordneta putem grupne raspodele rada 
Wordnet (Fellbaum 1998) je hijerarhijska leksičko-semantička mreža koja ima neprocenjivu vrednost u svim oblastima istraživanja koje kombinuju računarske tehnologije i lingvistiku, bilo da te oblasti nazivamo obradom prirodnih jezika, računarskom lingvistikom, ili jednostavno nekom granom digitalne humanistike (Biemann and Nygaard 2010; Rumshisky 2011; Biemann 2012). 
U ovoj jedinstvenoj mreži, leksički koncepti organizovani su u takozvane sinsetove, to jest koncepte grupisane po sličnosti. 
Srpski wordnet (eng. Serbian WordNet – SWN) počeo je da se razvija u okviru projekta BalkaNet (eng. Balkan WordNet project – BWN), kao što je to bio slučaj i sa bugarskim, češkim, rumunskim, grčkim i turskim wordnetom (Stamou et. al. 2002). 
SWN se zasniva na strukturi prinstonskog wordneta (eng. Princeton WordNet – PWN), te je izgrađen na principu takozvanog modela proširivanja (eng. expand model), u skladu s pravilima koja je nalagao projekat BalkaNet, to jest kopiranjem sinsetova iz prinstonskog wordneta u srpski i prevodeći ih, uz očuvanje hijerarhijske strukture prinstonskog wordneta.  
Po završetku projekta BalkaNet, 2004. godine, novi sinsetovi dodavani su zahvaljujući udruženom radu profesora, saradnika i studenata Katedre za bibliotekarstvo i informatiku, Filološkog fakulteta u Beogradu i Grupe za jezičke tehnologije Matematičkog fakulteta u Beogradu, kao i zahvaljujući brojnim volonterima. 
Ipak, danas srpski wordnet broji oko 20,000 sinsetova, dok prinstonski broji oko 117,000 sinsetova. 
Zato bi proces dogradnje ovog važnog resursa trebalo na neki način ubrzati. 
U tom smislu bismo mogli da iskoristimo model grupne raspodele rada.  
Jedan od projekata grupne raspodele rada koji bi mogao da se sprovede u smislu dogradnje srpskog vordenta mogao bi da bude određivanje najfrekventnijih prideva u srpskom jeziku, a u odnosu na engleski jezik, to jest, u odnosu na prideve koji su uvršćeni u prinstonski wordnet, jer nam je on osnov dogradnje. 
Tako se u prinstonskom wordnetu nalazi 20479 prideva, u poređenju sa 1488 u srpskom wordnetu. 
Uz značajno povećanje broja prideva, srpski wordnet bi bio korisniji za značajan proces u obradi prirodnih jezika – analizu osećanja (eng. Sentiment analysis), za šta je veoma pogodan zbog svoje veoma dobro razvijene semantičke strukture (Torii et. al. 2011). 
Projekat određivanja relevantnih prideva bi se zasnivao na mikrozadacima. 
Veoma je važno da zadaci budu što jasniji i što lakši, kako bi što veći broj učesnika želeo da svojim radom doprinese projektu. 
Sistemom jednostavnog glasanja ponudili bismo korisnicima da odrede da li je neki pridev iz engleskog jezika (izvučen iz prinstonskog wordneta), to jest njegov pandan na srpskom jeziku, relevantan za tog korisnika. 
Broj zadataka koje bi individualni učesnik morao da ispuni bi bio ograničen. 
Isti skupovi zadataka bi bili ponuđeni velikom broju učesnika. 
Po isteku određenog vremenskog perioda, postavljani bi novi skupovi zadataka, dok ne bismo došli do većeg broja podataka, to jest do većeg broja relevantnih prideva koje bismo dodali u srpski wordnet. 
Iz skupa podataka koje bismo dobili glasanjem bili bi eliminisani odgovori svih onih učesnika koji nisu zadovoljili odgovore na zlatna pitanja (koja su neophodna u jednom ovakvom projektu) dok će se nad preostalim podacima vršiti statistička obrada izračunavanjem srednje vrednosti DA i NE odgovora, tako što će DA imati vrednost 1, dok će odgovor NE imati vrednost 0. 
Tako ćemo dobiti procentualnu vrednost relevantnosti prideva, to jest videćemo da li je dati pridev, po mišljenju učesnika u projektu, relevantan i često u upotrebi. 
Ovaj projekat bi zahtevao korišćenje grupne mudrosti relativno homogene grupe ljudi, s obzirom da bi učesnici morali da poseduju određeni nivo znanja engleskog jezika i srpskog jezika, kako bi mogli da donesu dobru odluku, jer bi ponuđeni pridevi bili na engleskom jeziku, a zadatak učesnika bi bio da odrede da li bi taj pridev preveden na srpski jezik bio relevantan. 
Ovakav projekat bismo, za početak, mogli da sprovedemo preko alata kompanije Gugl pod nazivom Google form, koji se koristi u okviru servisa Google Drive. 
Google form olakšava upotrebu različitih vrsta uputnika koji lako mogu da se podele na društvenim mrežama, ali i da se pošalju na adrese elektronske pošte potencijalnih učesnika u projektu. 
Rezultate upitnika organizatori projekta dobijaju u obliku tabelarnog prikaza, u kome se vidi i vreme unosa. 
Motivacija učesnika u ovakvom projektu bila bi lične i društvene prirode, to jest, to bi bila spremnost i volja da se pomogne u procesu poboljšavanja srpskog wordneta, kao važnog resursa za obradu srpskog jezika. 
Učesnici bi bili angažovani putem društvenih mreža, kao i putem veb prezentacija udruženja ljubitelja srpskog jezika u celom svetu, studenata engleskog jezika na fakultetima u Srbiji, te studenata srpskog jezika na engleskim govornim područjima – svim potencijalnim učesnicima koji mogu doprineti jednom ovakvom projektu. 
Zaključak 
Model grupne raspodele rada se pokazao veoma uspešnim u projektima iz oblasti kulture i nauke, a posebno je značajan u obradi prirodnih jezika, jer je još uvek neophodno da ljudi proveravaju automatske metode koje se u nekim istraživanjima primenjuju s manje ili više uspeha. 
Kada govorimo o platformama grupne raspodele rada kao što je MTurk, učesnici dobijaju novčanu nadoknadu, te nije neophodno motivisati ih na neki drugi način. 
U slučajevima kada učesnici jednog projekta grupne raspodele rada tom projektu doprinose na dobrovoljnoj osnovi, neophodno ih je na neki način zainteresovati, što predstavlja osnovu uspeha svakog projekta grupne raspodele rada. 
Dokle god možemo da pronađemo adekvatan način da upotrebimo ljudsku kreativnost, pod uslovom da obratimo pažnju na sve aspekte projekta grupne raspodele rada, ovaj model saradnje može da donese veliku korist i u mnogim domaćim projektima. 
Srpski wordnet (Krstev et. al. 2004) se tako tehnikom grupne raspodele rada i korišćenjem nekih od metoda evaluacije navedenih u ovom radu može unaprediti i nadograditi, što je pravac istraživanja koji je neophodan za razvijanje alata i resursa koji nam stoje na raspolaganju za obradu srpskog jezika putem računarskih tehnologija. 
