Kodėl visi staiga susirūpino DI detektoriais
Nuo tada, kai ChatGPT tapo prieinamas plačiajai visuomenei, universitetai, redakcijos ir darbdaviai pradėjo ieškoti būdų, kaip nustatyti – ar tekstas parašytas žmogaus, ar sugeneruotas mašinos. Atsirado ištisas detektorių ekosistema: GPTZero, Originality.ai, Turnitin su DI aptikimo funkcija, Copyleaks, Winston AI ir dar keliolika kitų. Visi žada tą patį – tiksliai identifikuoti dirbtinį intelektą.
Bet ar jie iš tikrųjų veikia? Trumpas atsakymas – kartais. Ilgas atsakymas – daug sudėtingesnis, ir būtent dėl to verta pasigilinti.
Kaip tie detektoriai iš principo funkcionuoja
Prieš vertinant tikslumą, reikia suprasti mechaniką. DI detektoriai dažniausiai remiasi dviem pagrindiniais rodikliais: perplexity (sumaišties lygis) ir burstiness (sprogstamumas, arba sakinio ilgio variacija).
Perplexity matuoja, kiek teksto modelis „nustebinamas” kitu žodžiu. Kalbos modeliai, kaip GPT-4, linkę rinktis statistiškai tikėtinus žodžių derinius – jų tekstas yra nuspėjamas, todėl perplexity žemas. Žmogus rašo netikėčiau, daro stilistinių šuolių, vartoja nestandartinius posakius – perplexity aukštesnis.
Burstiness – tai sakinio ilgio kintamumas. Žmonės natūraliai maišo trumpus ir ilgus sakinius. DI modeliai dažnai generuoja panašaus ilgio sakinius, sukurdami tam tikrą monotoniją, kurią detektoriai ir bando pagauti.
Kai kurie detektoriai naudoja ir papildomus požymius – leksikos įvairovę, pasyviosios balso dažnį, tam tikrų frazių pasikartojimą. Originality.ai, pavyzdžiui, teigia naudojantis savo apmokytu modeliu, kuris analizuoja daugiau nei šiuos du rodiklius.
Tikslumas – skaičiai, kurie turėtų sunerimti
Čia prasideda tikros problemos. Nepriklausomi tyrimai rodo, kad DI detektorių tikslumas yra… nevienodas. Ir tai dar švelnus apibūdinimas.
2023 metais Stanford universiteto tyrėjai parodė, kad GPTZero ir panašūs įrankiai klaidingai identifikuoja žmogaus parašytus tekstus kaip DI generuotus maždaug 10-20% atvejų. Tai vadinamosios false positive klaidos – ir jos turi rimtų pasekmių, kai kalbama apie studentų akademinę atsakomybę.
Dar įdomesnis tyrimas buvo atliktas su ne gimtakalbių anglų kalba rašytojų tekstais. Rezultatai buvo šokiruojantys – jų tekstai buvo žymiai dažniau pažymimi kaip DI generuoti, nei gimtakalbių. Priežastis paprasta: ne gimtakalbiai rašo paprastesniais sakiniais, vengia idiomų, naudoja standartines struktūras – ir visa tai atrodo „per daug tvarkinga” detektoriams.
Turnitin, kuris yra bene labiausiai paplitęs akademinėje aplinkoje, oficialiai skelbia apie 98% tikslumą. Tačiau tai – jų pačių skaičiai, o nepriklausomi testai rodo kitokius rezultatus. Be to, tikslumas labai priklauso nuo to, koks DI modelis naudotas ir ar tekstas buvo redaguotas po generavimo.
Kaip lengvai apgauti detektorius
Čia reikia būti sąžiningam – ne tam, kad mokytume apgaudinėti, bet tam, kad suprastume, kiek riboti šie įrankiai yra. Jei detektorius galima apgauti keliais paprastais žingsniais, jo vertė kaip patikimo įrankio yra abejotina.
Pirmiausia – parafrazavimas. Jei DI generuotą tekstą perleidi per Quillbot ar tiesiog rankiniu būdu performuluoji sakinius, dauguma detektorių nebepažymi teksto kaip DI. Tai reiškia, kad net ir nesąžiningas studentas, skyriantis 10 minučių redagavimui, gali lengvai apeiti sistemą.
Antra – stilistiniai pakeitimai. Įterpus klaidų, nestandartinių posakių, sutrumpinus kai kuriuos sakinius ir pailginus kitus – perplexity ir burstiness rodikliai keičiasi. Detektoriai tampa suklaidinti.
Trečia – hibridinis rašymas. Kai žmogus rašo dalį teksto pats, o DI generuoja kitą dalį, ir viskas sujungiama – detektoriai paprastai negali tiksliai atskirti, kuri dalis yra kuri. Jie gali pažymėti visą tekstą kaip „iš dalies DI”, bet tai jau labai neaiški kategorija.
Galiausiai – naujesni modeliai. GPT-4, Claude 3, Gemini Ultra generuoja tekstus, kurie yra žymiai sunkiau aptinkami nei ankstesnių versijų. Detektoriai dažnai yra apmokyti ant senesnių modelių duomenų ir tiesiog nespėja.
Praktinis naudojimas – kam jie vis dėlto tinka
Nepaisant visų trūkumų, DI detektoriai nėra visiškai beverčiai. Reikia tiesiog suprasti, kur jie veikia, o kur ne.
Grubiam filtravimui – jei reikia peržiūrėti šimtus tekstų ir išskirti tuos, kurie atrodo įtartinai, detektoriai gali padėti sutrumpinti procesą. Jie nėra galutinis sprendimas, bet gali nukreipti dėmesį į konkrečius atvejus, kuriuos verta peržiūrėti atidžiau.
Kaip papildomas signalas – jei detektorius pažymi tekstą kaip DI generuotą, ir tuo pačiu metu tekstas neturi jokių asmeninių detalių, specifinių pavyzdžių, o argumentacija yra generiškai sklandi – tai jau keli požymiai kartu. Vienas detektoriaus rezultatas nieko nereiškia, bet kartu su kitais ženklais – jau kažkas.
Savikontrolei – tai galbūt mažiausiai akivaizdus, bet labai praktiškas panaudojimas. Jei rašai tekstą ir nori patikrinti, ar jis skamba „per daug kaip DI” (nes naudojai jį kaip pagalbą), detektorius gali duoti grįžtamąjį ryšį. Ne kaip teisėjas, bet kaip veidrodis.
Konkretus patarimas redakcijoms ir darbdaviams: nenaudokite detektoriaus kaip vienintelio įrankio priimant sprendimus apie žmones. Jei detektorius pažymi tekstą kaip DI – tai yra pradžia pokalbio, ne jo pabaiga.
Akademinė aplinka ir etinė dilema
Universitetai atsidūrė tikrai nepatogioje situacijoje. Iš vienos pusės – reikia kažkaip reaguoti į DI plitimą. Iš kitos – naudojant nepatikimus detektorius, rizikuojama neteisingai apkaltinti studentus, o tai yra rimta akademinė ir teisinė problema.
Kai kurie universitetai jau atsitraukė nuo automatinių detektorių. Vanderbilt universitetas, pavyzdžiui, oficialiai perspėjo dėstytojus neremtis vien detektorių rezultatais. Panašią poziciją užima ir daugelis Europos universitetų.
Kita problema – kas iš tikrųjų yra „DI rašymas”? Jei studentas naudojo DI idėjoms generuoti, bet viską parašė pats – ar tai sukčiavimas? Jei naudojo DI gramatikai taisyti – ar tai skiriasi nuo Grammarly naudojimo? Šie klausimai vis dar neturi aiškių atsakymų, ir detektoriai tikrai nepadeda jų spręsti.
Praktiškai kalbant – universitetams daug efektyviau veikia kiti metodai: individualūs pokalbiai su studentais apie jų darbą, užduotys, reikalaujančios asmeninės patirties ar specifinių šaltinių, žodiniai gynimosi elementai. Tai reikalauja daugiau laiko, bet yra nepalyginamai patikimiau.
Rinka auga, bet problemos lieka
DI detektorių rinka šiuo metu vertinama keliomis šimtais milijonų dolerių ir prognozuojama, kad iki 2027 metų ji gerokai išaugs. Investicijos plaukia, startuoliai steigiasi, o kainų modeliai tampa vis agresyvesni – Originality.ai, pavyzdžiui, siūlo prenumeratas nuo keliolikos iki kelių šimtų dolerių per mėnesį priklausomai nuo apimties.
Tačiau fundamentali problema išlieka: tai yra ginklavimosi varžybos, kurių detektoriai laimi tik laikinai. Kiekvieną kartą, kai atsiranda naujas detektorius, DI modeliai evoliucionuoja, ir atvirkščiai. Šiuo metu DI modeliai lenkia detektorius – ne atvirkščiai.
Kai kurie ekspertai teigia, kad ateitis yra ne detektoriuose, o turinio autentifikavime – kriptografinėse parašuose, kurie patvirtintų, kad tekstas buvo parašytas konkrečiame įrenginyje konkrečiu laiku. Adobe jau eksperimentuoja su panašia technologija vaizdo turiniui. Tekstui tai techniškai sudėtingiau, bet ne neįmanoma.
Kol kas, jei nori praktiškai įvertinti, ar verta mokėti už DI detektorių – atsakymas priklauso nuo konteksto. Didelės apimties turinio agentūroms, kurios tikrina šimtus straipsnių per dieną, tai gali turėti prasmę kaip pirminis filtras. Individualiam naudotojui ar nedidelei redakcijai – greičiausiai ne. Pinigai geriau investuoti į aiškias redakcines gaires ir žmogiškąjį vertinimą.
Ką tai reiškia iš tikrųjų – ir kur mes einame
DI detektoriai yra simptomas, ne sprendimas. Jie atsirado kaip reakcija į nerimą dėl DI plitimo, bet iš tikrųjų sprendžia ne tą problemą. Klausimas nėra „ar šis tekstas parašytas DI” – klausimas yra „ar šis tekstas yra kokybiškas, sąžiningas ir atitinka tai, ko mes iš tikrųjų norime”.
Techniškai kalbant, dabartiniai detektoriai yra statistiniai modeliai su realia klaidų tikimybe, kurie negali patikimai dirbti su trumpais tekstais (iki 300 žodžių tikslumas krenta dramatiškai), prastai veikia su specializuota leksika ir beveik visada atsilieka nuo naujausių DI modelių. Tai nėra smulkmenos – tai esminiai apribojimai.
Jei esi dėstytojas, žurnalistas, darbdavys ar tiesiog žmogus, bandantis suprasti šią erdvę – svarbiausia, ką galima pasiimti iš viso šio konteksto: detektoriai gali būti vienas iš daugelio signalų, bet niekada neturėtų būti vienintelis. Kritinis mąstymas, kontekstas ir žmogiška intuicija vis dar lenkia bet kurį algoritmą, kai kalbama apie sudėtingus sprendimus apie žmones ir jų darbą.
O ilgesnėje perspektyvoje – galbūt svarbiau ne aptikti DI, bet pergalvoti, ką mes iš tikrųjų vertiname: ar procesą, ar rezultatą, ar gebėjimą mąstyti, ar gebėjimą parašyti. Tai klausimai, į kuriuos joks detektorius atsakyti negali.
