A vállalati MI költségproblémája
Ha tucatnyi MI-ügynök naponta több ezer kérést dolgoz fel, az API-költségek gyorsan felszaladnak. Egyetlen prémium szintű modellhívás 10–50-szer többe kerülhet, mint egy könnyűsúlyú helyi modell. Az ESKOM.AI-nál 8 szintű LLM-routinggal oldottuk meg ezt. Az eredmény: 70%-os költségcsökkentés a kimeneti minőség mérhető romlása nélkül.
Hogyan működik a 8 szintű routing?
Minden bejövő kérést elemeznek a bonyolultság, szakterületi követelmények és kimeneti minőség szempontjából, mielőtt bármelyik nagy nyelvi modellhez érne. A szintek egyszerűsített áttekintése:
- 1. szint (ingyenes) – helyi könnyűsúlyú modellek. Nulla API-költség.
- 2–3. szint (alacsony) – nagyobb nyílt forráskódú modellek helyi GPU-n. Összefoglalás, fordítás, adatkinyerés.
- 4–5. szint (közepes) – felhőmodellek optimális ár-teljesítmény arányban.
- 6–7. szint (magas) – fejlett felhőmodellek. Összetett érvelés, kódgenerálás.
- 8. szint (prémium) – csúcsszintű modellek kritikus döntésekhez: jogi elemzés, pénzügyi modellezés, vezérigazgatónak szóló kimenet.
A routing mögötti intelligencia
A routing-döntés nem egyszerű kulcsszókeresés. Osztályozónk több dimenzión értékeli az egyes kéréseket: érvelési bonyolultság, ténybeli pontosság, kimeneti formátum és üzleti kritikusság. Az ügynökök felülírhatják a routert – a szakterületi felülírások biztosítják, hogy az üzleti kontextus felülmúlja az algoritmikus osztályozást.
A fontos dolgok mérése
Hat hónap termelési üzemeltetés után eszkalációs arányunk 3% alatt van – a router az esetek 97%-ában helyesen azonosítja a megfelelő szintet.