Algoritmai valdo daug daugiau nei atrodo iš pirmo žvilgsnio. Paieškos rezultatai, kredito reitingai, darbo skelbimų rekomendacijos, net medicininės diagnozės vis dažniau priimamos su dirbtinio intelekto ar mašininio mokymosi pagalba. Problema ta, kad tie skaičiavimai nėra neutralūs – jie atspindi duomenis, kuriais buvo mokomi, ir žmones, kurie juos kūrė. Kai tas atspindys iškreipia rezultatus vienos grupės nenaudai, kalbame apie algoritminį šališkumą.
Kas iš tikrųjų vyksta po gaubtu
Modelis, tarkime, neuroninis tinklas ar sprendimų medis, mokosi iš istorinių duomenų. Jei tie duomenys jau savaime iškreipti – pavyzdžiui, praeities įdarbinimo sprendimai atspindėjo lyčių ar rasinę diskriminaciją – algoritmas tiesiog perima šį modelį ir jį atkuria masiniu mastu. Skirtumas nuo žmogaus priimamo sprendimo tas, kad vienas šališkas HR specialistas gali paveikti kelis šimtus kandidatų per metus, o šališkas algoritmas gali paveikti milijonus žmonių per kelias sekundes.
Techniškai šališkumas gali atsirasti keliuose etapuose: duomenų rinkimo, požymių inžinerijos (feature engineering), modelio architektūros pasirinkimo ar net metrikos, kuria vertinamas sėkmingumas. Klasikinis pavyzdys – veido atpažinimo sistemos, kurios buvo mokomos daugiausia šviesiaodžių žmonių nuotraukomis. Rezultatas – žymiai didesnis klaidų procentas atpažįstant tamsiaodžius asmenis, ypač moteris.
Duomenys kaip pirminė nuodėmė
Dažniausia klaida, kurią daro komandos, kuriančios ML sistemas – manymas, kad daugiau duomenų automatiškai reiškia geresnį, sąžiningesnį modelį. Realybėje kiekis nekompensuoja kokybės ar reprezentatyvumo. Jei mokymo aibėje 80% įrašų yra apie vieną demografinę grupę, modelis tiesiog geriau „supranta“ tą grupę, o kitiems atvejams generuoja neapibrėžtus arba klaidingus rezultatus.
Yra keletas duomenų šališkumo tipų, kuriuos verta žinoti:
- Atrankos šališkumas (sampling bias) – duomenys nesurenkami tolygiai iš visų populiacijos grupių.
- Etikečių šališkumas (label bias) – žmogaus subjektyvumas, žymint duomenis kaip „geras klientas“ ar „rizikingas atvejis“.
- Istorinis šališkumas – duomenys atspindi praeities socialinę neteisybę, kuri jau nebeturėtų būti norma.
- Matavimo šališkumas – kai duomenys renkami skirtingu tikslumu ar dažniu iš skirtingų grupių.
Praktiškai tai reiškia, kad prieš pradedant modelio treniravimą, verta atlikti duomenų auditą – patikrinti demografinį pasiskirstymą, ieškoti trūkstamų kategorijų ir įvertinti, ar etiketės nėra paveiktos subjektyvių sprendimų.
Garsūs incidentai, kurie tapo pamokomis
2018 metais Amazon uždarė savo AI įdarbinimo įrankį, kuris sistemingai žemino moterų CV, nes buvo mokytas iš dešimtmečio duomenų, kuriuose dominavo vyrai IT srityje. Sistema net išmoko atmesti CV, kuriuose paminėtos moteriškos universiteto organizacijos.
Kitas atvejis – COMPAS, JAV naudota sistema, prognozuojanti recidyvo tikimybę nuteistiesiems. ProPublica žurnalistų tyrimas atskleidė, kad sistema afroamerikiečius klasifikavo kaip „didelės rizikos“ kur kas dažniau nei baltuosius, net kai faktinis recidyvas nesiskyrė. Šis atvejis sukėlė plačias diskusijas apie teisingumo sistemų automatizavimą – ar galima leisti algoritmui priimti sprendimus, kurie tiesiogiai veikia žmogaus laisvę.
Sveikatos priežiūros srityje panašus pavyzdys – algoritmas, naudotas JAV ligoninėse pacientų prioritizavimui, sistemingai neįvertino juodaodžių pacientų sveikatos rizikos, nes modelis naudojo praeities gydymo išlaidas kaip sveikatos poreikio matą, o istoriškai juodaodžiams pacientams buvo skiriama mažiau resursų.
Kodėl techniniai sprendimai vieni patys neišspręs problemos
Egzistuoja nemažai matematinių metodų, siekiančių sumažinti šališkumą – „fairness constraints“, adversarial debiasing, reweighting technikos. Tačiau tenka pripažinti nepatogią tiesą: sąžiningumo (fairness) apibrėžimai matematiškai konfliktuoja tarpusavyje. Yra bent keli formalūs sąžiningumo kriterijai – demografinis paritetas, lygybė galimybėse (equal opportunity), kalibravimo lygybė – ir įrodyta, kad daugumos jų negalima tenkinti visų vienu metu, nesant tam tikrų idealizuotų sąlygų.
Tai reiškia, kad sprendimas, kuris „sąžiningumą“ pasieks, visada bus kompromisas, priklausantis nuo konteksto. Kredito vertinimo algoritmui gali būti svarbiau lygybė galimybėse, o medicininei diagnostikai – kalibravimo tikslumas visoms grupėms. Todėl techninė komanda vien savo jėgomis negali nuspręsti, kuris kriterijus tinkamiausias – čia reikalingas dialogas su etikais, teisininkais, socialiniais mokslininkais ir, svarbiausia, su tomis grupėmis, kurias sprendimas paveiks.
Praktiniai žingsniai, kuriuos gali imtis komanda
Jei dirbate su ML sistemomis ar prižiūrite jų diegimą organizacijoje, verta įtraukti šiuos veiksmus į standartinį darbo procesą:
- Atlikite duomenų auditą prieš mokymą. Naudokite įrankius kaip Google’s Facets ar IBM AI Fairness 360, kad vizualizuotumėte pasiskirstymus tarp grupių.
- Testuokite modelį segmentuotai. Neapsiribokite bendru tikslumu (accuracy) – skaičiuokite metrikas kiekvienai demografinei ar interesų grupei atskirai.
- Dokumentuokite sprendimus. Kiekvienas pasirinkimas – kokius duomenis naudoti, kokią metriką optimizuoti – turi būti užrašytas ir pagrįstas, kad vėliau būtų galima atsekti, kodėl modelis veikia taip, kaip veikia.
- Įtraukite žmogaus priežiūrą jautriems sprendimams. Ypač ten, kur pasekmės žmogui yra didelės – teisingumas, sveikata, finansai – automatinis sprendimas turėtų būti tik rekomendacija, ne galutinis verdiktas.
- Kartokite auditą reguliariai. Modelis, kuris buvo sąžiningas diegimo metu, gali „nuslinkti“ (model drift) laikui bėgant, kai pasikeičia realaus pasaulio duomenys.
Naudinga taip pat išbandyti „counterfactual testing“ – pakeisti tik jautrų požymį (pvz., lytį ar rasę) duomenų įraše ir patikrinti, ar modelio išvestis keičiasi. Jei keičiasi be jokio kito pagrindo, tai signalas, kad modelis mokosi ne to, ko reikėtų.
Reguliacinis kontekstas Europoje
ES Dirbtinio intelekto aktas (AI Act), priimtas 2024 metais, tiesiogiai adresuoja šią problemą, klasifikuodamas didelės rizikos AI sistemas – tarp jų įdarbinimo, kreditavimo, teisėsaugos sritis – ir reikalaudamas iš jų kūrėjų atlikti rizikos vertinimus, dokumentuoti duomenų šaltinius ir garantuoti žmogaus priežiūrą. Tai reiškia, kad organizacijoms, veikiančioms ES rinkoje, algoritminio šališkumo valdymas nebėra tik „gera praktika“ – tai tampa teisiniu reikalavimu su realiomis sankcijomis už nesilaikymą.
Verta stebėti, kaip šis reguliavimas evoliucionuos praktikoje – standartai vis dar formuojasi, o daug priklausys nuo to, kaip nacionalinės institucijos interpretuos „didelės rizikos“ sąvoką konkrečiuose sektoriuose.
Vietoj išvadų: ką daryti pirmadienį ryte
Algoritminio šališkumo tema lengvai paskęsta abstrakčiose diskusijose apie etiką, bet realybėje tai – inžinerinė problema su konkrečiais sprendimais. Jei šiandien dirbate su duomenimis ar modeliais, pirmas žingsnis nėra didelis strateginis dokumentas – tai vienas klausimas, kurį reikia užduoti sau prieš kiekvieną projektą: „kieno duomenys čia trūksta, ir kas nukentės, jei modelis suklys?“
Nereikia turėti idealaus atsakymo iš karto. Reikia sistemos, kuri nuolat tikrina, ar modelis elgiasi taip, kaip tikimasi, visoms grupėms, ne tik statistinei daugumai. Tai reiškia investuoti laiką į segmentuotą testavimą, priimti, kad tobulo sąžiningumo apibrėžimo nėra, ir palikti vietos žmogaus sprendimui tose situacijose, kur klaidos kaina yra per didelė automatikai.
Galiausiai, geriausia apsauga nuo šališkumo – ne vienas magiškas algoritmas ar biblioteka, o organizacinė kultūra, kurioje klausimai apie sąžiningumą užduodami anksti, dažnai ir garsiai, o ne tada, kai žurnalistai ar reguliatoriai jau randa problemą už jus.






