Problém nákladov v podnikovej AI
Keď prevádzkujete desiatky AI agentov spracúvajúcich tisíce požiadaviek denne, náklady na API sa rýchlo sčítavajú. V ESKOM.AI sme to vyriešili 8-úrovňovým LLM smerovaním — systémom, ktorý automaticky páruje každú požiadavku s nákladovo najefektívnejším modelom schopným ju spracovať. Výsledok: 70 % zníženie nákladov bez merateľného poklesu kvality.
Ako funguje 8-úrovňové smerovanie
- Úroveň 1 (Zadarmo) — ľahké open-source modely lokálne. Nulové náklady API.
- Úrovne 2–3 (Nízke náklady) — väčšie open-source modely na lokálnom GPU.
- Úrovne 4–5 (Stredné) — cloudové modely strednej triedy.
- Úrovne 6–7 (Vysoké) — pokročilé cloudové modely. Zložité uvažovanie, generovanie kódu.
- Úroveň 8 (Prémiová) — top prémiové modely. Vyhradené pre kritické rozhodnutia: právna analýza, finančné modelovanie.
Inteligencia za smerovaním
Rozhodnutie o smerovaní nie je jednoduché vyhľadávanie kľúčových slov. Klasifikátor vyhodnocuje každú požiadavku v dimenziách: zložitosť uvažovania, faktická presnosť, výstupný formát a obchodná kritickosť. Po šiestich mesiacoch v produkcii je naša miera eskalácie pod 3 %.