Stav trhu v roku 2026
Pred tromi rokmi bol rozdiel v kvalite medzi najlepším cloudovým modelom (GPT-4, Claude Opus) a najlepším open-source modelom obrovský. V roku 2026 sa táto medzera prakticky uzavrela vo väčšine biznisových aplikácií. Llama 3.1 405B, Mistral Large, poľský Bielik 11B, Qwen 2.5 — sú to modely, ktoré v benchmarkoch reasoning, kódovania, analýzy dokumentov či spracovania poľského jazyka dosahujú výsledky porovnateľné s cloudovými modelmi.
Navyše, pre mnoho enterprise aplikácií sú modely 8-13B nielen dostatočné, ale optimálne. Klasifikácia emailov, extrakcia údajov z faktúr, generovanie zhrnutí, základné odpovede v zákazníckej podpore — v týchto úlohách lokálny Bielik na vlastnom GPU serveri dáva výsledky neodlíšiteľné od Claude Haiku, pri nulových nákladoch per-token.
Kedy sa oplatí lokálny model
Rozhodnutie lokálny vs cloudový LLM má niekoľko dimenzií. Najdôležitejšie:
- Objem dopytov — bod break-even pri súčasnej infraštruktúre (server s GPU H100 80GB ~120 tis. PLN, alebo spot DataCrunch ~3 tis. PLN/mes.) sa pohybuje okolo 50-100 mil. tokenov mesačne. Nad — on-prem lacnejší. Pod — cloud.
- Citlivosť dát — pre dáta podliehajúce GDPR, profesijnému tajomstvu (advokátske kancelárie, audítori, zdravotníctvo) alebo doložke dôvernosti klienta, lokálne LLM eliminujú riziko spojené s posielaním dát cloudovému poskytovateľovi.
- Latencia — lokálny model v rovnakom datacentre ako aplikácia: 50-200 ms. Cloud: 500-2000 ms (podľa regiónu a fronty). Pre real-time aplikácie je rozdiel fundamentálny.
- Compliance a suverenita dát — požiadavky NIS2, ISO 27001, sektorové regulácie (KNF, UODO) čoraz častejšie preferujú alebo vyžadujú lokálne spracovanie dát.
Triedy modelov a ich aplikácie
Open-source modely nie sú monolit — líšia sa veľkosťou, špecializáciou, natívnym jazykom, licenciou. Praktický prehľad:
- Malé modely (3-8B): Llama 3.2 3B, Phi-3 Mini, Gemma 7B. Bežia na jedinej GPU 16-24GB alebo aj na CPU. Klasifikácia, embeddings, jednoduchá klasifikácia dopytov, rerouting.
- Stredné modely (8-15B): Llama 3.1 8B, Bielik 11B (najlepší poľský model), Mistral 7B/Nemo. Bežia na jedinej GPU 24-48GB. RAG, generovanie krátkych textov, analýza dokumentov, customer support.
- Veľké modely (30-70B): Llama 3.1 70B, Mistral Large, Command-R+. Vyžadujú 2x GPU alebo kartu 80GB (H100, A100). Komplexné reasoning, kódovanie, analýza dlhých dokumentov, právne draftovanie.
- Veľmi veľké modely (300B+): Llama 3.1 405B, DeepSeek V3 671B. Vyžadujú klastre 4-8x H100/H200. Najčastejšie opodstatnené len pri veľmi veľkých objemoch alebo pre najťažšie úlohy.
Infraštruktúra — čo konkrétne treba
Minimálna produkčná konfigurácia pre strednú firmu (do 1000 dopytov/deň, model 8-13B):
- Server s GPU — napr. RTX 4090 24GB (~12 tis. PLN), L40S 48GB (~50 tis. PLN), alebo dedikovaný server s H100 80GB. Spot na DataCrunch alebo Vast.ai — od 2-3 tis. PLN/mes. za H100.
- Runtime — Ollama (najjednoduchší, ale bez QoS), vLLM (produkčný, batch processing), TGI od HuggingFace (kompromis). Ollama stačí pre menšie tímy.
- Proxy / routing — vlastný LLM proxy zodpovedný za zaraďovanie do frontu, retry, fallback, metriky. ESKOM AI používa vlastné proxy s 8-úrovňovým routingom (lokálne najlacnejšie → cloud Opus pre najťažšie).
- Monitoring — Prometheus + Grafana pre GPU metriky (využitie, teplota), latenciu, náklad na dopyt, kvalitu odpovedí.
- Backup a rotácia modelov — modely sa aktualizujú — udržiavanie procesu fine-tuningu alebo pravidelného sťahovania nových verzií.
Kedy sa stále oplatí cloud
Cloudové modely nezmizli a stále majú zmysluplné miesto v enterprise architektúre:
- Najťažšie úlohy — Claude Opus a GPT-5 (keď vyjde) sú stále lepšie vo veľmi komplexnom reasoning, dlhom kontexte (1M+ tokenov), „agentic” multistep úlohách.
- Nízke objemy — startup s 10 tis. dopytov/mes. nepotrebuje vlastnú GPU. Pay-per-token v cloude bude stáť jednotlivé tisíce zlotých mesačne — lacnejšie ako udržiavanie infraštruktúry.
- Sezónnosť — keď je premávka veľmi nestabilná, autoskalujúci cloudový LLM sa vyhne nákladom na nečinné GPU.
- Multimodalita — najnovšie multimodálne modely (obraz, audio, video) sú často dostupné skôr v cloude.
Hybrid — najčastejšia odpoveď
V praxi väčšina firiem, ktoré dobre zavádzajú AI, buduje hybridný stack:
- Lokálna Llama 3.2 3B — klasifikácia, routing, jednoduchá extrakcia dát. 80% objemu.
- Lokálny Bielik 11B alebo Llama 3.1 8B — RAG, generovanie krátkeho obsahu, customer support PL/EN. 15% objemu.
- Lokálna Llama 3.1 70B — komplexné analýzy, kódovanie. 4% objemu.
- Cloud Claude Opus / Sonnet — najťažšie otázky, dlhý kontext, najvyššia kvalita. 1% objemu.
8-úrovňový routing automaticky rozhoduje, ktorý model obslúži daný dopyt, na základe detekovanej komplexity, jazyka, kontextu. V našej platforme HybridCrew takýto routing umožňuje znížiť priemerný náklad na dopyt o 70% v porovnaní s riešením „všetko cez Opus” — pri zachovaní plnej kvality tam, kde je potrebná.
Závery pre rozhodovateľov
Otázka „lokálny LLM alebo cloud” v roku 2026 už nie je nula-jedna otázkou. Najlepšie architektúry sú hybridné a adaptívne — používajú lokálne modely tam, kde je to výhodné, cloudové tam, kde je to nevyhnutné. Firmy s citlivými dátami (kancelárie, finančný sektor, zdravotníctvo, administratíva) by mali začať budovať kompetencie lokálnej AI už teraz — v priebehu 12-24 mesiacov to prestane byť konkurenčnou výhodou a stane sa hygienou.