Prieš kokį dešimtmetį „big data” skambėjo kaip mados žodis iš konferencijų salių – kažkas, kas tinka Google ar Amazon dydžio korporacijoms, bet ne vidutinei įmonei Vilniuje ar Kaune. Šiandien situacija visiškai kitokia. Duomenų kiekis, kurį generuoja net nedidelė e-parduotuvė per mėnesį, dažnai viršija tai, ką prieš penkiolika metų turėjo apdoroti visa banko IT sistema. Klausimas jau nebe „ar mums to reikia”, o „kaip su tuo susitvarkyti neprarandant proto ir biudžeto”.
Kas iš tikrųjų slepiasi po sąvoka „didieji duomenys”
Populiariausias būdas paaiškinti didžiuosius duomenis – per tris V raides: volume (apimtis), velocity (greitis) ir variety (įvairovė). Vėliau prisidėjo dar dvi – veracity (patikimumas) ir value (vertė). Skamba akademiškai, bet praktikoje tai reiškia paprastą dalyką: turite tiek daug informacijos, tokios skirtingos formos ir taip greitai atnaujinamos, kad įprasta Excel lentelė ar net standartinė duomenų bazė tiesiog nebeišlaiko krūvio.
Realiame gyvenime tai atrodo taip: internetinės parduotuvės serveris fiksuoja kiekvieną vartotojo paspaudimą, IoT jutikliai gamykloje siunčia rodmenis kas sekundę, o CRM sistema kaupia klientų aptarnavimo istoriją, socialinių tinklų komentarus ir el. laiškų srautą. Kiekvienas šaltinis atskirai – nieko baisaus. Bet sujungus viską į vieną vaizdą, gaunasi tikras duomenų kalnas, kurį reikia kažkaip suvaldyti.
Kodėl tai nebe technologijų entuziastų žaislas
Yra klaida manyti, kad duomenų analitika – tai kažkas, ką „padaro IT skyrius, kai turi laisvo laiko”. Realybėje būtent duomenys šiandien nulemia, ar įmonė mato problemas prieš joms virstant nuostoliais, ar sužino apie jas iš klientų skundų.
Paimkime paprastą pavyzdį – logistikos įmonę. Jei ji analizuoja tik pristatymo laikus atgaline data, tai naudinga, bet pavėluota informacija. Jei ji apdoroja duomenis realiu laiku – eismo situaciją, kuro sąnaudas, vairuotojų maršrutus – ji gali pakeisti maršrutą per kelias minutes ir sutaupyti tūkstančius eurų per metus. Skirtumas tarp „žinojimo praeityje” ir „žinojimo dabar” – tai ir yra didžiųjų duomenų vertė versle.
Kitas pavyzdys – rizikos valdymas finansų sektoriuje. Bankai jau seniai nebesitiki, kad klientas pats praneš apie sukčiavimą. Algoritmai stebi tūkstančius transakcijų per sekundę ir ieško anomalijų, kurios žmogaus akiai būtų nepastebimos.
Kur verslas realiai randa tuos duomenis
Dažnai įmonės klaidingai galvoja, kad duomenis reikia „kažkur nusipirkti” arba investuoti į brangius jutiklius. Iš tiesų didžioji dalis vertingiausios informacijos jau guli pačioje organizacijoje, tik niekas jos nesurinko į vieną vietą:
- Pardavimų sistemos – kas, kada ir kiek perka, kokie produktai perkami kartu.
- Svetainės ir aplikacijų elgsena – kur vartotojai užstringa, kur palieka krepšelį.
- Klientų aptarnavimo žurnalai – dažniausi klausimai, skundai, sprendimo laikai.
- Įrangos ir gamybos jutikliai – gedimų prognozavimas, energijos sąnaudos.
- Socialiniai tinklai ir apžvalgos – nuotaikų analizė apie prekės ženklą.
Didžioji dalis darbo iš tikrųjų nėra „surinkti duomenis” – jie jau egzistuoja. Darbas yra juos sujungti, išvalyti ir padaryti taip, kad jie „kalbėtų” viena kalba tarp skirtingų sistemų.
Technologijos, be kurių šiandien sunku apsieiti
Prieš dešimtmetį Hadoop ekosistema atrodė kaip vienintelis kelias dirbti su didžiais duomenų kiekiais. Dabar peizažas gerokai platesnis. Debesų platformos – AWS, Google Cloud, Azure – leidžia išsinuomoti tiek skaičiavimo galios, kiek reikia konkrečiu momentu, nepirkti serverių iš anksto ir nebijoti, kad infrastruktūra „neišlaikys” per Juodąjį penktadienį.
Apache Spark tapo savotišku standartu apdorojant didelius duomenų srautus, o įrankiai kaip Kafka leidžia gauti informaciją realiu laiku, o ne kartą per parą. Duomenų sandėliai (data warehouse) transformavosi į duomenų ežerus (data lake), o dabar madingas terminas – „lakehouse”, jungiantis abiejų privalumus.
Verta paminėti ir tai, kad dirbtinis intelektas šiandien neatsiejamas nuo didžiųjų duomenų – mašininio mokymosi modeliai tiesiog neveikia be kokybiškų ir gausiu duomenų kiekiu paremtų mokymo rinkinių. Vienas be kito šiuo metu praktiškai neegzistuoja rimtame versle.
Klaidos, kurias įmonės kartoja vėl ir vėl
Dirbant su duomenų projektais matosi tam tikri pasikartojantys scenarijai, kurie žlugdo net gerai finansuotas iniciatyvas.
Pirma klaida – pradedama nuo technologijos, o ne nuo klausimo. Įmonė nusiperka galingą duomenų platformą, nes „visi turi”, bet neturi aiškaus supratimo, kokį verslo klausimą nori atsakyti. Rezultatas – brangi infrastruktūra, kurioje guli neapdoroti duomenys.
Antra – duomenų kokybės ignoravimas. Jei sistema per metus surinko milijonus įrašų, bet pusė jų su klaidomis, dubliais ar netikslia data, jokia analitika neišgelbės. Sena taisyklė galioja ir čia: šiukšlės viduje – šiukšlės išeigoje.
Trečia – per didelis pasitikėjimas automatika be žmogaus konteksto. Algoritmas gali puikiai atpažinti tendenciją, bet nesupranta konteksto – pavyzdžiui, kad pardavimai šoktelėjo dėl vienkartinės akcijos, o ne dėl tvaraus augimo. Duomenų analitikai vis dar reikalingas žmogus, kuris supranta verslo situaciją.
Ketvirta – privatumo ir saugumo klausimų atidėjimas „vėlesniam laikui”. Su GDPR ir panašiais reglamentais tai gali kainuoti ne tik baudas, bet ir klientų pasitikėjimą, kurio atgauti jau nebepavyks.
Kaip pradėti, jei įmonė dar tik ruošiasi šokti į vandenį
Nereikia iš karto statyti duomenų platformos ant visos organizacijos pamatų. Praktika rodo, kad geriau veikia mažesni, konkretūs žingsniai:
- Pasirinkti vieną aiškią verslo problemą – pavyzdžiui, klientų atsisakymo (churn) prognozavimą ar sandėlio atsargų optimizavimą.
- Įvertinti, kokie duomenys jau egzistuoja įmonės viduje, prieš perkant naujus šaltinius.
- Investuoti į duomenų valymą ir struktūrizavimą – tai nuobodus, bet svarbiausias etapas.
- Pradėti nuo mažo, matomo rezultato (pilot projekto), o ne nuo visą organizaciją apimančios transformacijos.
- Sukurti komandą, kurioje yra ir technologijų žmonės, ir tie, kurie supranta verslo kontekstą – vieni be kitų projektą dažnai nuveda į aklavietę.
Svarbu suprasti ir tai, kad duomenų kultūra organizacijoje kuriasi ne per vieną kvartalą. Reikia laiko, kol darbuotojai pradeda pasitikėti skaičiais labiau nei nuojauta, ir dar daugiau laiko, kol vadovai išmoksta priimti sprendimus, kurie prieštarauja jų intuicijai, bet kuriuos patvirtina duomenys.
Kai skaičiai pradeda kalbėti savo kalba
Didieji duomenys patys savaime nieko nekeičia – jie tiesiog guli serveriuose kaip nuobodus skaitmenų srautas, kol kažkas neužduoda tinkamo klausimo. Verslas, kuris supranta šią paprastą tiesą, elgiasi kitaip: neinvestuoja aklai į madingiausias platformas, o pirmiausia išsiaiškina, ką iš tikrųjų nori sužinoti apie savo klientus, procesus ar rinką.
Jei reikėtų palikti vieną praktinę mintį – ji būtų tokia: pradėkite ne nuo technologijos, o nuo klausimo. Technologija visada atsiras, ji tampa vis prieinamesnė ir pigesnė kiekvienais metais. Bet klausimas, kurį verta užduoti savo duomenims, gimsta ne serverių salėje, o pokalbyje su pardavimų vadybininku, gamybos meistru ar klientų aptarnavimo specialistu, kurie kasdien mato tai, ko dar nerodo jokia lentelė.
Ir dar vienas dalykas, kurį verta prisiminti kiekvienam, kas šiuo keliu tik pradeda žengti – duomenys nemeluoja, bet jie ir netikina savaime. Jie tiesiog rodo tendencijas. Kaip tas tendencijas interpretuoti ir kokius sprendimus priimti – tai vis dar žmogaus darbas, ir turbūt taip liks dar ilgai, nepaisant to, kiek toli nužengs dirbtinis intelektas.
