Kulude probleem ettevõtete TI valdkonnas
Kui käitate kümneid TI agente, mis töötlevad iga päev tuhandeid päringuid, kogunevad API kulud kiiresti. Üks tippklassi mudeli kõne võib maksta 10–50 korda rohkem kui kerge kohalik mudel. Enamik ettevõtteid suunab kõik kallise mudeli kaudu (raisates eelarvet) või kasutab odavat mudelit kõigeks (ohverdades kvaliteeti). Kumbki lähenemine ei tööta suuremas mahus.
ESKOM.AI lahendasime selle 8-tasemeline LLM marsruutimisega — süsteem, mis vastendab automaatselt iga päringu sobiva mudeliga vastavalt keerukusele, tundlikkusele ja nõutavale kvaliteedile.
Kaheksa taset, kaheksa kavatsust
Meie marsruutimissüsteem hindab iga päringut mitme dimensiooni alusel: ülesande keerukus, nõutav kvaliteet, tundlik sisu, nõutav arutlus ja kiiruse nõuded.
Praktilised tulemused
8-tasemeline marsruutimissüsteem tagab, et ainult väike osa päringuid — need, mis tõesti vajavad kõrgemaid võimeid — jõuavad kunagi tippklassi mudeliteni. Enamikku töödeldakse kohapeal või vahepealsete mudelitega.
Miks kohalikke mudeleid ei saa ignoreerida
Avatud lähtekoodiga kohalikud mudelid on üllatavalt võimsad õigete ülesannete jaoks. Klassifitseerimiseks, kokkuvõteteks, olemi ekstraktimiseks ja lihtsaks genereerimiseks konkureerib kohalik mudel mudelitega, mis olid aasta tagasi standard. Andmetundlike ettevõtete jaoks pakuvad kohalikud mudelid kriitilist eelist: ükski andmed ei lahku infrastruktuurist.