Open source DI modeliai

Kas tie open source DI modeliai ir kodėl visi apie juos kalba?

Dirbtinio intelekto pasaulyje pastaruosius kelerius metus vyksta kažkas įdomaus. Viena vertus, turime milžinus kaip OpenAI, Google ir Anthropic, kurie savo modelius laiko po devyniais užraktais ir leidžia prie jų prieiti tik per API. Kita vertus, auga stipri alternatyva – open source DI modeliai, kuriuos gali parsisiųsti, paleisti savo kompiuteryje, modifikuoti ir daryti su jais ką nori.

Bet čia reikia iš karto pasakyti vieną dalyką: „open source” DI kontekste reiškia skirtingus dalykus skirtingiems žmonėms. Kai kurie modeliai yra tikrai atviri – tiek kodas, tiek svoriai, tiek mokymo duomenys. Kiti – tik iš dalies. Pavyzdžiui, Meta savo Llama modelius vadina „open source”, bet jų licenzija draudžia komercinį naudojimą tam tikrais atvejais ir riboja, kas gali juos naudoti. Taigi terminas „open source” čia kartais yra šiek tiek ištempiamas.

Nepaisant to, praktiškai kalbant – jei gali parsisiųsti modelio svorius ir paleisti juos savo infrastruktūroje, tai jau yra milžiniškas skirtumas nuo to, kai esi priklausomas nuo kažkieno API. Ir būtent tai daro open source DI modelius tokius patrauklius tiek individualiems kūrėjams, tiek įmonėms.

Pagrindiniai žaidėjai: nuo Llama iki Mistral

Šiuo metu open source DI kraštovaizdyje yra keletas modelių, kurie tikrai verti dėmesio. Pradėkime nuo svarbiausių.

Llama 3.1 ir Llama 3.2 – Meta sukurti modeliai, kurie šiuo metu yra bene populiariausi atviri kalbos modeliai. Llama 3.1 yra prieinamas 8B, 70B ir 405B parametrų versijomis. 8B versija veikia net ant vidutinio lygio laptopo su pakankamai RAM, o 405B versija konkuruoja su GPT-4 lygio modeliais. Llama 3.2 atsinešė dar ir multimodalines galimybes – tai reiškia, kad modelis gali dirbti ne tik su tekstu, bet ir su vaizdais.

Mistral – prancūzų startuolio sukurti modeliai, kurie nustebino visą industriją. Mistral 7B, kai pasirodė, buvo geriausia, ką galėjai gauti tokio dydžio modelyje. Dabar jų arsenale yra Mistral Large, Mixtral 8x7B (kuris naudoja Mixture of Experts architektūrą – apie tai vėliau) ir kiti. Mistral modeliai žinomi tuo, kad yra labai efektyvūs – gauni daug už mažai.

Qwen – Alibaba sukurta modelių šeima, kuri pastaruoju metu labai aktyviai vystoma. Qwen2.5 serija yra tikrai stipri, ypač kodo generavimo srityje. Qwen2.5-Coder-32B kai kuriuose testuose aplenkia net GPT-4o kodo užduotyse.

DeepSeek – kinų kompanijos modeliai, kurie sukėlė tikrą šurmulį. DeepSeek-R1 yra reasoning modelis, kuris mąsto prieš atsakydamas (panašiai kaip OpenAI o1), ir tai daro atvirą kodą. Tai buvo tikras proveržis.

Gemma – Google sukurti mažesni modeliai, skirti efektyviam paleidimui. Gemma 2 serija yra puiki pradedantiesiems.

Kaip tai veikia techniškai: transformeriai, svoriai ir kvantizacija

Jei nori suprasti, kodėl vieni modeliai veikia greičiau, kodėl vieni reikalauja mažiau atminties, o kiti duoda geresnius rezultatus – reikia šiek tiek pasinerti į techninius dalykus. Nesijaudink, nebus per sudėtinga.

Visi šiuolaikiniai kalbos modeliai yra paremti transformer architektūra. Tai 2017 metais Google pristatyta architektūra, kuri pakeitė viską. Modelis iš esmės yra didžiulis skaičių rinkinys – vadinami svoriai (weights). Kai parsisiunti modelį, parsisiunti būtent tuos svorius. 7B modelis turi 7 milijardus parametrų, 70B – 70 milijardų ir t.t.

Čia atsiranda praktinė problema: 7B modelis pilnu tikslumu (FP32 formatu) sveria apie 28 GB. Tai jau yra per daug daugumai kompiuterių. Todėl naudojama kvantizacija – svoriai suspaudžiami naudojant mažesnį bitų skaičių. Q4_K_M kvantizacija reiškia, kad kiekvienas parametras saugomas 4 bitais vietoj 32 bitų. Taip 7B modelis sutraukiamas iki ~4-5 GB, ir jį jau galima paleisti ant kompiuterio su 8 GB RAM.

Kitas įdomus dalykas – Mixture of Experts (MoE) architektūra, kurią naudoja Mixtral. Vietoj to, kad visi parametrai dalyvautų kiekviename skaičiavime, modelis turi daug „ekspertų” (mažesnių tinklų) ir kiekvienam tokenui parenka tik kelis iš jų. Mixtral 8x7B iš tikrųjų turi 47B parametrų, bet kiekvienam tokenui naudoja tik ~13B. Rezultatas – greitis kaip 13B modelio, o kokybė artima 47B.

Dar vienas svarbus terminas – konteksto langas (context window). Tai kiek teksto modelis gali „matyti” vienu metu. Llama 3.1 turi 128K tokenų kontekstą – tai reiškia, kad gali paduoti labai ilgus dokumentus. Bet reikia žinoti: ilgesnis kontekstas = daugiau atminties reikia.

Kaip paleisti modelius savo kompiuteryje: praktinis vadovas

Teorija teorija, bet pereikime prie praktikos. Kaip iš tikrųjų paleisti open source modelį ant savo kompiuterio?

Paprasčiausias kelias – Ollama. Tai įrankis, kuris leidžia parsisiųsti ir paleisti modelius viena komanda. Instaliuoji Ollama (veikia ant Mac, Linux ir Windows), ir tada:

ollama run llama3.1

Viskas. Ollama pati parsisiųs modelį ir paleisti interaktyvų pokalbį terminale. Jei nori Mistral:

ollama run mistral

Ollama taip pat paleidžia lokalų API serverį ant localhost:11434, kuris yra suderinamas su OpenAI API formatu. Tai reiškia, kad daugelis įrankių, sukurtų OpenAI API, veiks ir su Ollama be didelių pakeitimų.

Jei nori daugiau kontrolės – llama.cpp. Tai C++ biblioteka, optimizuota modelių paleidimui be GPU. Veikia net ant Raspberry Pi. Galima kompiliuoti su Metal palaikymu (Mac) arba CUDA (Nvidia GPU) ir gauti žymiai geresnį greitį.

Tiems, kas nori grafinę sąsają – LM Studio. Tai programa su patogiu GUI, kuri leidžia parsisiųsti modelius iš Hugging Face, juos paleisti ir kalbėtis su jais kaip su ChatGPT. Puikus pasirinkimas tiems, kas nenori komandinės eilutės.

Keli praktiniai patarimai:

• Pradėk nuo 7B-8B modelių – jie veikia ant daugumos kompiuterių su 16 GB RAM
• Naudok Q4_K_M arba Q5_K_M kvantizaciją – geras balansas tarp kokybės ir greičio
• Jei turi Nvidia GPU – tikrai naudok jį, greitis skiriasi keliais kartais
• Mac su M serijos chip’u yra puiki platforma – vieninga atmintis leidžia efektyviai naudoti GPU
• Modelius rasi Hugging Face platformoje – ieškok GGUF formato failų, jei naudoji llama.cpp ar Ollama

Fine-tuning: kai nori modelį pritaikyti savo poreikiams

Vienas didžiausių open source modelių privalumų – gali juos fine-tuninti, tai yra papildomai apmokyti savo duomenimis. Tai leidžia sukurti modelį, kuris specialiai pritaikytas tavo užduočiai – galbūt teisiniams dokumentams analizuoti, medicininei dokumentacijai, klientų aptarnavimui lietuvių kalba ar bet kam kitam.

Pilnas fine-tuning reikalauja daug resursų – net 7B modeliui reikia kelių dešimčių GB GPU atminties. Bet yra efektyvesni metodai. LoRA (Low-Rank Adaptation) – tai technika, kuri vietoj visų modelio svorių modifikuoja tik nedidelę jų dalį. Praktiškai tai reiškia, kad 7B modelį gali fine-tuninti ant vieno 24 GB GPU (pavyzdžiui, RTX 3090 ar 4090).

QLoRA dar efektyvesnė – naudoja kvantizuotą bazinį modelį ir LoRA adapterius. Su QLoRA 7B modelį galima fine-tuninti net ant 16 GB GPU.

Įrankiai, kuriuos verta žinoti:

• Unsloth – labai populiari biblioteka, kuri pagreitina fine-tuning iki 2x ir sumažina atminties naudojimą. Turi puikius Colab notebooks pradedantiesiems
• Axolotl – lankstesnis įrankis su daug konfigūracijos galimybių
• LLaMA-Factory – web sąsaja fine-tuning’ui, labai patogi tiems, kas nenori rašyti kodo

Duomenų paruošimas yra kritinis. Geriau turėti 1000 aukštos kokybės pavyzdžių nei 100 000 prastos kokybės. Duomenys turi būti formatu, kurį modelis supranta – dažniausiai tai pokalbių formatas (instruction-response poros).

Privatumas, saugumas ir verslo perspektyva

Čia atsiranda vienas iš svarbiausių argumentų open source modelių naudai – privatumas. Kai naudoji ChatGPT ar Claude, tavo duomenys keliauja į kažkieno serverius. Galbūt jie naudojami modelių mokymui (nors kompanijos teigia, kad ne, kai išjungi atitinkamus nustatymus). Bet faktas – tu neturi visiškos kontrolės.

Su lokaliai paleistais modeliais situacija visiškai kitokia. Duomenys neišeina iš tavo kompiuterio ar serverio. Tai ypač svarbu:

• Medicinos įstaigoms, dirbančioms su pacientų duomenimis
• Teisinėms firmoms su konfidencialiais dokumentais
• Finansų sektoriui su jautria informacija
• Bet kokiai įmonei, kuri nenori dalintis savo verslo duomenimis su trečiosiomis šalimis

Iš verslo perspektyvos – kaštai yra kitas svarbus faktorius. GPT-4 API kainuoja apie $30 už milijoną input tokenų ir $60 už output tokenų. Jei turi didelį srautą, tai greitai tampa brangu. Lokalus modelis, kai jau sumokėjai už serverį, kainuoja tik elektros energiją.

Bet reikia būti sąžiningam – lokalūs modeliai turi ir trūkumų. Reikia infrastruktūros, reikia žmonių, kurie ją prižiūri, ir ne visada kokybė lygi GPT-4 ar Claude 3.5 Sonnet. Tiesa, atotrūkis mažėja labai greitai.

Saugumo požiūriu – open source modeliai leidžia patikrinti, ką tiksliai daro modelis. Nėra „juodosios dėžės” problemos. Bet tai taip pat reiškia, kad bet kas gali pašalinti saugumo apribojimus (guardrails) ir naudoti modelį kenkėjiškiems tikslams. Tai yra nuolatinis debatas bendruomenėje.

RAG, agentai ir kitos pažangios technikos

Open source modeliai puikiai integruojasi į modernesnes DI sistemas. Dvi svarbiausios technikos, kurias verta žinoti:

RAG (Retrieval-Augmented Generation) – tai metodas, kai modeliui prieš atsakymą pateikiami relevantiški dokumentai iš duomenų bazės. Taip išsprendžiama „haliucinacijų” problema ir modelis gali dirbti su nauja informacija, kurios nebuvo jo mokymo duomenyse. Pavyzdžiui, gali sukurti sistemą, kuri atsako į klausimus apie tavo įmonės vidaus dokumentus.

Populiarūs RAG įrankiai: LangChain, LlamaIndex, Haystack. Visi jie palaiko lokalius modelius per Ollama ar tiesioginę integraciją.

Agentai – tai sistema, kur modelis gali naudoti įrankius: ieškoti internete, vykdyti kodą, skaityti failus, kviesti API. Open source pasaulyje populiarūs: AutoGen (Microsoft), CrewAI, LangGraph.

Praktinis patarimas: jei kuri RAG sistemą su lokaliu modeliu, vektorinei duomenų bazei naudok Chroma arba Qdrant – abu veikia lokaliai ir yra lengvai integruojami. Embeddingams (tekstų pavertimui vektoriais) naudok nomic-embed-text arba mxbai-embed-large – abu prieinami per Ollama.

Dar vienas dalykas, kurį verta paminėti – multimodaliniai modeliai. Llava, BakLLaVA, Llama 3.2 Vision – visi jie gali analizuoti vaizdus. Tai atveria galimybes dokumentų apdorojimui, vaizdų aprašymui, vizualinei analizei – ir visa tai lokaliai.

Ateitis, kuri jau čia: ką reiškia šis judėjimas ilgalaikėje perspektyvoje

Open source DI modelių judėjimas yra daugiau nei technologinis reiškinys – tai tam tikra filosofija apie tai, kas turėtų kontroliuoti galingiausias technologijas. Ir šiuo metu atrodo, kad šis judėjimas laimi.

Prieš dvejus metus buvo manoma, kad atviri modeliai niekada neprilygs uždarų kompanijų modeliams. Šiandien situacija kitokia. DeepSeek-R1 parodė, kad galima sukurti reasoning modelį, kuris konkuruoja su OpenAI o1, ir tai padaryti atvirai. Qwen2.5-Coder rodo, kad kodo generavimo srityje atviri modeliai jau yra lygiateisiai žaidėjai.

Tendencija aiški: kiekvieną ketvirtį atviri modeliai artėja prie uždarų. Ir tai vyksta dėl kelių priežasčių – daugiau kompanijų investuoja į atvirą mokslą, bendruomenė aktyviai tobulina ir fine-tunina modelius, o kvantizacijos ir efektyvumo technikos leidžia paleisti vis geresnius modelius ant vis paprastesnės techninės įrangos.

Ką tai reiškia praktiškai? Jei esi kūrėjas – dabar yra geriausias laikas eksperimentuoti. Parsisiųsk Ollama, paleisk Llama 3.1 ar Mistral, pabandyk integruoti į savo projektą. Jei esi įmonė – verta rimtai apsvarstyti hibridinę strategiją: sudėtingoms užduotims naudoti komercinius API, o rutininėms – lokalius modelius. Jei esi tiesiog smalsus žmogus – tai viena įdomiausių technologinių revoliucijų, vykstančių dabar, ir ji vyksta atvirai, prieš visų akis.

Svarbu nepamiršti: open source DI nėra sidabrinė kulka. Reikia techninių žinių, infrastruktūros ir pastangų. Bet tie, kas investuoja į šių žinių įgijimą dabar, turės rimtą pranašumą ateityje. O bendruomenė – Hugging Face forumai, Reddit r/LocalLLaMA, Discord serveriai – yra neįtikėtinai aktyvi ir pasiruošusi padėti. Tai viena tų sričių, kur atvirumas nėra tik marketingo žodis, o tikra realybė.