Il problema dei costi con l'IA aziendale
Quando si eseguono decine di agenti IA che elaborano migliaia di richieste al giorno, i costi API si accumulano rapidamente. In ESKOM.AI, abbiamo risolto questo con il routing LLM a 8 livelli - un sistema che abbina automaticamente ogni richiesta al modello piu conveniente in grado di gestirla. Risultato: 70 % di riduzione dei costi rispetto al routing attraverso un modello di livello superiore.
Come funziona il routing a 8 livelli
- Livello 1 (Gratuito) - modelli open-source leggeri che girano localmente. Zero costo API.
- Livelli 2-3 (Basso costo) - modelli open-source piu grandi (8B-70B parametri) su GPU locale.
- Livelli 4-5 (Medio) - modelli cloud di livello medio per la maggior parte dei compiti aziendali.
- Livelli 6-7 (Alto) - modelli cloud avanzati per ragionamenti complessi e generazione di codice.
- Livello 8 (Premium) - modelli top premium riservati a decisioni critiche: analisi legale, modellazione finanziaria.
L'intelligenza dietro il routing
La decisione di routing non e una semplice ricerca per parole chiave. Il nostro classificatore valuta ogni richiesta su piu dimensioni: complessita di ragionamento, precisione fattuale, formato di output e criticita aziendale.
Misurare cio che conta
Dopo sei mesi in produzione, il nostro tasso di escalation e inferiore al 3 %, il che significa che il router identifica correttamente il livello giusto il 97 % delle volte.