Prieš kokius penkerius metus, kai kas nors paminėdavo „AI ant mikrovaldiklio”, dažniausiai sulaukdavai skeptiško žvilgsnio. Juk kalbame apie procesorius, kurie turi mažiau atminties nei senas Nokia telefonas, o mašininio mokymosi modeliai tuo metu jau reikalavo GPU fermų. Bet situacija pasikeitė – ir gana drastiškai. Šiandien TinyML nebe eksperimentinė niša, o realiai veikianti technologija, kuri jau sukasi milijonuose įrenginių – nuo išmaniųjų laikrodžių iki žemės ūkio sensorių dirvožemio drėgmei matuoti.
Kas tai per žvėris – TinyML
TinyML esmė paprasta: paimi neuroninį tinklą, kuris paprastai sukasi debesyje ar bent jau telefone, ir suspaudi jį taip, kad veiktų mikrovaldiklyje su vos keliais kilobaitais RAM ir be jokio interneto ryšio. Kalbame apie chipus tipo ARM Cortex-M0 ar M4, kur atmintis matuojama kilobaitais, o ne gigabaitais.
Skirtumas nuo įprasto edge computing tas, kad čia nėra jokio Raspberry Pi su Linux operacine sistema po ranka. Mikrovaldiklis dažnai neturi net operacinės sistemos – veikia bare-metal arba su minimaliu RTOS. Energijos suvartojimas – mikroamperai, ne vatai. Batarėja gali tarnauti metus, o ne valandas.
Kodėl tai svarbu? Nes daugybė realaus pasaulio problemų nereikalauja debesijos galios. Ar tikrai reikia siųsti duomenis į serverį, kad atpažintum, jog mašinos guolis pradeda vibruoti neįprastai? Ar būtina internetinis ryšys, kad mikrofonas atpažintų raktažodį „Hey Google”? Dažniausiai – ne. Ir būtent čia TinyML atranda savo vietą.
Techniniai apribojimai, kurie verčia sukti galvą
Dirbant su tradiciniu mašininiu mokymusi, retai tenka galvoti apie tokius dalykus kaip flash atmintis ar SRAM kiekis. TinyML pasaulyje tai tampa pirmuoju ir svarbiausiu klausimu. Tipiškas mikrovaldiklis, naudojamas šiam tikslui, turi:
- 32-256 KB RAM
- 256 KB – 2 MB flash atminties
- Procesoriaus dažnį 48-216 MHz
- Jokio floating point unit dažnu atveju (arba labai riboto)
Palyginimui – standartinis MobileNet modelis vaizdo atpažinimui sveria kelis megabaitus. Į tokį mikrovaldiklį jis tiesiog netelpa. Todėl visas darbas sukasi apie kompromisus tarp modelio tikslumo ir dydžio.
Yra dar vienas dalykas, apie kurį pradedantys inžinieriai dažnai pamiršta – latency. Jeigu tavo modelis skaičiuoja rezultatą 5 sekundes, o reikia realaus laiko atsako gestų atpažinimui, tai jokia optimizacija netaps naudinga. Reikia balansuoti tarp trijų kintamųjų: atminties, greičio ir tikslumo. Pakeisi vieną – paveiksi kitus du.
Kvantizacija – kaip suspausti tą, kas atrodo nesuspaudžiama
Čia prasideda tikroji magija. Kvantizacija – tai procesas, kuomet modelio svoriai, kurie paprastai saugomi kaip 32 bitų slankiojo kablelio skaičiai (float32), konvertuojami į 8 bitų sveikuosius skaičius (int8). Rezultatas? Modelio dydis sumažėja keturis kartus, o skaičiavimai tampa greitesni, nes sveikųjų skaičių operacijos mikrovaldikliuose vykdomos žymiai greičiau nei float operacijos.
Skamba paprastai, bet praktikoje tai reikalauja atidumo. Post-training quantization – populiariausias metodas, kai modelis apmokomas įprastu būdu, o tik po to konvertuojamas. Problema ta, kad tikslumas gali kristi 2-5 procentiniais punktais, priklausomai nuo užduoties sudėtingumo.
Rimtesnis požiūris – quantization-aware training, kai modelis „žino” apie būsimą kvantizaciją jau treniravimo metu. Tai reiškia papildomą darbą ir laiko sąnaudas, bet rezultatas dažniausiai vertas pastangų – tikslumo praradimas sumažėja iki 1 procento ar mažiau.
Be kvantizacijos yra ir kiti trikai – pruning (nereikalingų neuronų šalinimas), knowledge distillation (mažo modelio mokymas iš didelio „mokytojo” modelio), ir architektūros optimizavimas nuo pat pradžių, projektuojant modelį specialiai riboto skaičiavimo aplinkai.
Įrankiai, kurie realiai veikia
TensorFlow Lite for Microcontrollers (dabar dažnai vadinamas tiesiog TFLM) yra bene populiariausias pasirinkimas. Google komanda padarė gerą darbą suprastindama TensorFlow ekosistemą taip, kad ji veiktų be dinaminio atminties paskirstymo (malloc/free), be operacinės sistemos priklausomybių ir su minimaliu binary size.
Edge Impulse – kita platforma, kuri tapo populiaria tarp hobistų ir startuolių, nes ji leidžia visą procesą – nuo duomenų rinkimo iki deployment – atlikti per naršyklę. Nereikia rašyti C++ kodo nuo nulio, viskas generuojama automatiškai. Puikus pasirinkimas prototipavimui, nors profesionaliems projektams dažnai vis tiek tenka nusileisti į žemesnį lygmenį.
CMSIS-NN iš ARM – biblioteka, optimizuota specifiškai Cortex-M procesoriams. Jeigu dirbi su ARM chipais (o dauguma mikrovaldiklių šiuo metu yra ARM pagrindu), verta ją naudoti kaip backend, nes ji išnaudoja SIMD instrukcijas ir kitus procesoriaus specifinius pagreitinimus.
Yra dar microTVM, kuris ateina iš Apache TVM projekto ir siūlo lankstesnį požiūrį – galima kompiliuoti modelius įvairioms architektūroms be didelio rankinio darbo. Šiek tiek sudėtingesnis įėjimo taškas, bet jeigu reikia palaikyti kelias skirtingas hardware platformas, tai gali sutaupyti daug laiko.
Realūs pritaikymo scenarijai, kur tai jau veikia
Teorija gerai, bet kur šitas dalykas realiai naudojamas? Pramoninė vibracijos analizė – vienas geriausių pavyzdžių. Sensorius, pritvirtintas prie variklio ar guolio, nuolat renka akcelerometro duomenis ir vietoje siunčia juos į debesį, jis pats analizuoja anomalijas ir siunčia tik pranešimą, kai kažkas negerai. Tai sumažina duomenų perdavimo kaštus dešimtimis kartų, nes nereikia siųsti žalio signalo, tik jau apdorotą rezultatą.
Keyword spotting – „Hey Siri” ar „OK Google” atpažinimas – klasikinis TinyML atvejis. Modelis, atpažįstantis vieną konkretų raktažodį, gali sverti mažiau nei 20 KB ir veikti nuolat, sunaudodamas mikroamperus energijos. Tik tada, kai raktažodis atpažįstamas, aktyvuojamas galingesnis (ir energiją imlesnis) apdorojimas.
Žemės ūkyje TinyML pritaikomas dirvožemio drėgmės, temperatūros ir kitų parametrų analizei tiesiogiai lauke, be nuolatinio ryšio poreikio. Sensorius kaupia duomenis, atlieka lokalią analizę ir siunčia rezultatus tik retkarčiais, kai to reikia, taupydamas ir bateriją, ir tinklo pajėgumus.
Medicinos srityje – nešiojami įrenginiai, stebintys širdies ritmą ar aptinkantys kritimus pas senyvus žmones. Čia svarbu, kad apdorojimas vyktų lokaliai dėl privatumo priežasčių – jautrūs sveikatos duomenys neturi keliauti per internetą, jeigu to galima išvengti.
Kur žmonės dažniausiai suklysta
Pirma klaida – bandymas tiesiog paimti didelį, jau apmokytą modelį ir stumti jį per TFLite konverterį, tikintis stebuklo. Taip nedirba. Reikia projektuoti architektūrą jau nuo pradžių atsižvelgiant į tikslinę platformą. MobileNetV2 su width multiplier 0.35 vis dar gali būti per didelis kai kuriems mikrovaldikliams.
Antra klaida – pamiršti apie duomenų surinkimą realiomis sąlygomis. Modelis, apmokytas ant „švarių” laboratorinių duomenų, gali visiškai suklysti realiame pasaulyje, kur sensorius veikia skirtingoje temperatūroje, su triukšmu ar kitokiu apšvietimu. TinyML projektuose duomenų kokybė svarbesnė nei bet kada, nes hardware ribos neleidžia pridėti sudėtingesnio duomenų valymo algoritmo, kuris kompensuotų blogus duomenis.
Trečia – pamiršti apie power management. Modelis gali būti puikiai optimizuotas skaičiavimo prasme, bet jeigu chip’as visą laiką budi aktyviame režime, o ne miega tarp inferencijų, batarėja išsikraus per savaitę vietoje metų. TinyML projektuose reikia galvoti ne tik apie ML inžineriją, bet ir apie embedded sistemų projektavimą kartu.
Ketvirta, dažnai neįvertinamas testavimo sudėtingumas. Debug’inti neuroninį tinklą, veikiantį mikrovaldiklyje be ekrano ir be patogaus debuggerio, yra visai kitas iššūkis nei debug’inti Python skriptą kompiuteryje. Reikia investuoti į logging mechanizmus ir serial output nuo pat pradžių.
Kaip pradėti – žingsniai, kurie tikrai padeda
Jeigu norisi pačiam pabandyti, štai keletas konkrečių dalykų, kurie palengvins kelią:
Pasirink tinkamą hardware nuo pradžių. Arduino Nano 33 BLE Sense arba ESP32 – geri pradžios taškai, nes turi integruotus sensorius ir gerą bendruomenės palaikymą. Nereikia iš karto lipti į labai egzotišką hardware, jeigu tai pirmasis projektas.
Pradėk nuo mažo modelio ir mažos užduoties. Nebandyk iš karto atpažinti 50 objektų klasių. Pradėk nuo binary klasifikacijos – pavyzdžiui, ar signalas rodo normalią, ar anomalinę situaciją. Sudėtingumą didink palaipsniui.
Naudok Edge Impulse pirmam bandymui. Nors profesionaliame projekte gali prireikti daugiau kontrolės, pirmajam susipažinimui su procesu tai sutaupys savaites laiko, nes automatizuoja daug rutininio darbo.
Matuok realų suvartojimą, ne teorinius skaičius. Multimetras ar specializuotas power profiler (pavyzdžiui, Nordic Power Profiler Kit) parodys, ar tavo modelis tikrai tinka batarijos maitinamam įrenginiui, ar tik teoriškai atrodo optimizuotas.
Testuok su realiais, triukšmingais duomenimis nuo pat pradžių. Nelaukiant, kol modelis „beveik baigtas”, surink duomenis iš tikslinės aplinkos – su tikru fonu, tikru triukšmu, tikromis sąlygomis.
Ką visa tai reiškia ateičiai, ir kodėl verta stebėti šią sritį
TinyML nėra madinga technologija, kuri išnyks po metų kito – tai natūrali evoliucija, kylanti iš paprastos ekonominės logikos: siųsti visus duomenis į debesį brangu, lėta ir dažnai nereikalinga. Chip’ų gamintojai jau dabar projektuoja specialius neural processing units (NPU) tiesiai mikrovaldikliuose – pavyzdžiui, naujausi ARM Ethos-U serijos chipai. Tai reiškia, kad per ateinančius kelerius metus riba tarp „įprasto” mikrovaldiklio ir „AI-ready” mikrovaldiklio praktiškai išnyks.
Kas svarbiausia – ši sritis vis dar jauna tiek, kad vienas žmogus, turintis pagrindinius Python ir C žinias, gali per kelias savaites pasiekti realų, veikiantį prototipą. Nereikia daktaro laipsnio mašininiame mokyme, nereikia GPU klasterio – reikia noro eksperimentuoti, kelių nesėkmingų bandymų ir gero supratimo apie tai, kur tavo modelis ir hardware susitinka.
Jeigu dirbi su IoT, embedded sistemomis ar tiesiog domiesi, kur AI eina toliau, negu debesijos serveriai – TinyML yra būtent ta vieta, kur šiuo metu vyksta įdomiausi dalykai. Ne todėl, kad modeliai čia didesni ar sudėtingesni, o priešingai – todėl, kad reikia sugalvoti, kaip padaryti daugiau su mažiau. O tai, savo ruožtu, dažnai veda prie kūrybiškesnių sprendimų, nei tiesiog metant daugiau skaičiavimo galios į problemą.






