El Problema de Costos de la IA Empresarial
Quan executeu desenes d'agents d'IA que processen milers de sol·licituds diàriament, els costos d'API s'acumulen ràpidament. Una sola crida a un model de nivell premium pot costar 10-50x més que un model local lleuger. Tanmateix, la majoria d'empreses o bé encaminen tot a través d'un model car (cremant pressupost) o utilitzen un model barat per a tot (sacrificant qualitat). Cap dels dos enfocaments funciona a escala.
A ESKOM.AI, ho vam resoldre amb l'enrutament LLM de 8 nivells — un sistema que associa automàticament cada sol·licitud amb el model més rendible capaç de gestionar-la. El resultat: reducció de costos del 70% comparat amb encaminar-ho tot a través d'un model de nivell superior, sense cap caiguda mesurable en la qualitat dels resultats per a tasques de producció.
Com Funciona l'Enrutament de 8 Nivells
Cada sol·licitud entrant s'analitza per complexitat, requisits de domini i qualitat de sortida requerida abans d'arribar a cap LLM. El motor d'enrutament considera factors com el recompte de tokens, la profunditat de raonament, els requisits d'ús d'eines i el llindar de qualitat de l'agent sol·licitant. Aquí teniu una vista simplificada dels nostres nivells:
- Nivell 1 (Gratuït) — models de codi obert lleugers que s'executen localment. Gestiona classificacions simples, extracció de paraules clau i format de dades. Cost d'API zero.
- Nivells 2-3 (Baix cost) — Models de codi obert més grans (8B-70B paràmetres) en GPU local. Bons per a resum, traducció i extracció de dades estructurades.
- Nivells 4-5 (Mitjà) — Models al núvol de nivell mitjà. Equilibri cost-rendiment per a la majoria de tasques de negoci.
- Nivells 6-7 (Alt) — Models al núvol avançats. Raonament complex, anàlisi de múltiples passos, generació de codi.
- Nivell 8 (Premium) — Models premium de nivell superior. Reservats per a decisions crítiques: anàlisi legal, modelització financera, disseny arquitectònic, sortides dirigides al CEO.
La Intel·ligència Darrere de l'Enrutament
La decisió d'enrutament no és una simple cerca per paraules clau. El nostre classificador avalua cada sol·licitud en múltiples dimensions: complexitat de raonament (necessita cadena de pensament?), precisió factual (pot al·lucinar sense perill o ha de ser exacte?), format de sortida (text lliure vs. JSON estructurat) i criticitat per al negoci (esborrany intern vs. document dirigit al client). El classificador mateix s'executa en un model lleuger, afegint una latència negligible.
Críticament, els agents poden anular l'enrutador. Quan el nostre agent de finances processa un informe financer trimestral, sempre escala al Nivell 7-8 independentment de la complexitat aparent. Les anul·lacions específiques del domini asseguren que el context de negoci prevalgui sobre la classificació algorítmica.
Mesurar el que Importa
Seguim l'efectivitat de l'enrutament mitjançant tres mètriques: cost per tasca resolta (no per crida d'API), puntuació de qualitat (mostra de sortides avaluada per humans) i taxa d'escalament (amb quina freqüència una resposta de nivell inferior es rebutja i es reencamina cap amunt). Després de sis mesos en producció, la nostra taxa d'escalament se situa per sota del 3%, el que significa que l'enrutador identifica correctament el nivell adequat el 97% de les vegades. Per a les empreses que consideren estratègies multimodel, la lliçó és clara: l'enrutament intel·ligent no és opcional — és la diferència entre operacions d'IA sostenibles i costos descontrolats.