Tirgus stāvoklis 2026. gadā
Pirms trim gadiem kvalitātes atšķirība starp labāko mākoņa modeli (GPT-4, Claude Opus) un labāko atvērta koda modeli bija milzīga. 2026. gadā šī plaisa praktiski ir aizvērusies vairumā biznesa pielietojumu. Llama 3.1 405B, Mistral Large, poļu Bielik 11B, Qwen 2.5 — tie ir modeli, kas reasoning, kodēšanas, dokumentu analīzes vai poļu valodas apstrādes etalonparbaudēs sasniedz salīdzināmus rezultātus ar mākoņa modeliem.
Turklāt daudziem enterprise pielietojumiem 8-13B modeli ir ne tikai pietiekami, bet optimāli. E-pasta klasifikācija, datu izvilkšana no rēķiniem, kopsavilkumu ģenerēšana, bāzes atbildes klientu apkalpošanā — šajos uzdevumos lokāls Bielik uz paša GPU servera dod rezultātus, ne atšķiramus no Claude Haiku, ar nulles izmaksām par tokeni.
Kad lokāls modelis izdevīgs
Lēmumam lokāls vs mākoņa LLM ir vairākas dimensijas. Vissvarīgākās:
- Pieprasijumu apjoms — break-even punkts ar pašreizējo infrastruktūru (serveris ar GPU H100 80GB ~120 tūkst. PLN, vai spot DataCrunch ~3 tūkst. PLN/mēn.) krit ap 50-100 miljonu tokenu mēnesī. Augstāk — on-prem lētāks. Zemāk — mākonis.
- Datu jutība — datiem, uz kuriem attiecas GDPR, profesionāla noslepu (juridiskās firmas, auditori, veselības aprūpe) vai klienta konfidencialitātes klauzula, lokāli LLM novērš risku, kas saistīts ar datu sūtīšanu mākoņa piegādātājam.
- Latence — lokāls modelis tajā pašā datu centrā kā aplikācija: 50-200 ms. Mākonis: 500-2000 ms (atkarībā no reģiona un rindas). Reālā laika aplikācijām atšķirība ir fundamentāla.
- Atbilstība un datu suverenitāte — NIS2, ISO 27001 prasības, sektorāli noteikumi (KNF, UODO) arvien biežāk atbalsta vai prasība lokālu datu apstrādi.
Modeļu klases un to pielietojumi
Atvērta koda modeli nav monolīts — tie atšķiras pēc izmēra, specializācijas, dzimtās valodas, licences. Praktisks pārskats:
- Mazi modeli (3-8B): Llama 3.2 3B, Phi-3 Mini, Gemma 7B. Darbojas uz vienas GPU kartes 16-24GB vai pat uz CPU. Klasifikācija, embeddingi, vienkārša pieprasijumu klasifikācija, rerouting.
- Vidējie modeli (8-15B): Llama 3.1 8B, Bielik 11B (labākais poļu modelis), Mistral 7B/Nemo. Darbojas uz vienas GPU kartes 24-48GB. RAG, īsu tekstu ģenerēšana, dokumentu analīze, customer support.
- Lieli modeli (30-70B): Llama 3.1 70B, Mistral Large, Command-R+. Prasība 2x GPU vai kartes 80GB (H100, A100). Komplicitāts reasoning, kodēšana, garu dokumentu analīze, juridiska draftināšana.
- Loti lieli modeli (300B+): Llama 3.1 405B, DeepSeek V3 671B. Prasība klasterus 4-8x H100/H200. Visbiežāk attaisnoti tikai pie loti lieliem apjomiem vai grūtākājiem uzdevumiem.
Infrastruktūra — ko konkrēti vajag
Minimāla raznošanas konfigurācija vidējam uzņēmumam (līdz 1000 pieprasijumiem dienā, 8-13B modelis):
- Serveris ar GPU — piemēram, RTX 4090 24GB (~12 tūkst. PLN), L40S 48GB (~50 tūkst. PLN), vai dedicēts serveris ar H100 80GB. Spot DataCrunch vai Vast.ai — no 2-3 tūkst. PLN/mēn. par H100.
- Runtime — Ollama (vienkāršākais, bet bez QoS), vLLM (raznošanas, batch processing), TGI no HuggingFace (kompromiss). Ollama pietiek mazākām komandām.
- Proxy / routing — pašu LLM proxy, atbildīgs par rindām, retry, fallback, metrikām. ESKOM AI lieto pašu proxy ar 8 līmeņu routing (lokāls lētākais → cloud Opus grūtākājiem).
- Monitorings — Prometheus + Grafana GPU metrikām (izmantošana, temperatūra), latencei, izmaksām par pieprasijumu, atbildes kvalitātei.
- Backup un modeļu rotācija — modeli atjauninās — uzturēt fine-tuning procesu vai regulāru jaunu versiju lejupielādi.
Kad joprojām izdevīgs mākonis
Mākoņa modeli nav pazuduši un joprojām tiem ir jēdzīga vieta enterprise arhitektūrā:
- Grūtākāji uzdevumi — Claude Opus un GPT-5 (kad iziet) joprojām labāki loti komplicitātā reasoning, garam kontekstam (1M+ tokenu), „agentic” multistep uzdevumiem.
- Mazi apjomi — startup ar 10 tūkst. pieprasijumiem mēnesī neprasība pašu GPU. Pay-per-token mākonī izmaksās atsevišķus tūkstošus zloti mēnesī — lētāk nekā infrastruktūras uzturēšana.
- Sezonalitāte — kad satiksme ir loti neregulāra, autoskalējošs mākoņa LLM izvairīsies no neaktivu GPU izmaksām.
- Multimodalitāte — jaunākie multimodalie modeli (attēls, audio, video) bieži ir pieejami agrāk mākonī.
Hibrīds — visbiežākā atbilde
Praksē vairums uzņēmumu, kas labi ievēro MI, būvē hibrīdu steku:
- Lokāls Llama 3.2 3B — klasifikācija, routing, vienkārša datu izvilkšana. 80% apjoma.
- Lokāls Bielik 11B vai Llama 3.1 8B — RAG, īsu saturu ģenerēšana, customer support PL/EN. 15% apjoma.
- Lokāls Llama 3.1 70B — komplicitāts analīzes, kodēšana. 4% apjoma.
- Cloud Claude Opus / Sonnet — grūtākājie jautājumi, garais konteksts, augstākā kvalitāte. 1% apjoma.
8 līmeņu routing automatiski izlemj, kurš modelis apkalpos doto pieprasijumu, pamatojoties uz noskaidroto komplicitātu, valodu, kontekstu. Mūsu HybridCrew platformā šāds routing ļauj samazināt vidējās pieprasijuma izmaksas par 70% pret „viss caur Opus” risinājumu — saglabājot pilnu kvalitāti tur, kur tā nepieciešama.
Secinājumi lēmējiem
Jautājums „lokāls LLM vai mākonis” 2026. gadā vairs nav nullviena. Labākās arhitektūras ir hibrīdas un adaptīvas — izmanto lokālos modelus tur, kur izdevīgi, mākoņa tur, kur nepieciešams. Uzņēmumi ar jutīgiem datiem (juridiskās firmas, finanšu sektors, veselības aprūpe, administrācija) vajadzētu sākt veidot lokālo MI kompetenci jau tagad — 12-24 mēnešu laikā tas beigs būt konkurīts priekšrocība un kļūs par hiģiēnu.