Il-Problema tal-Ispejjeż mal-AI tal-Intrapriża
Meta tmexxi għexieren ta' aġenti AI li jipproċessaw eluf ta' talbiet kuljum, l-ispejjeż tal-API jiżdiedu malajr. Sejħa ta' mudell ta' livell premium wieħed tista' tiswa 10–50x aktar minn mudell lokali leġġer. Madankollu, il-biċċa l-kbira tal-intrapriżi jew jindirizzaw kollox permezz ta' mudell għali (jaħarqu l-baġit) jew jużaw mudell irħis għal kollox (jissagrifika l-kwalità). L-ebda approċċ ma jaħdem fuq skala.
F'ESKOM.AI, solvejna dan b'rutaġġ LLM ta' 8 livelli — sistema li tabbina kull talba mal-mudell bl-aktar kosteffiċjenti kapaċi jittrattaha. Ir-riżultat: tnaqqis fl-ispejjeż ta' 70% meta mqabbel mar-rutaġġ ta' kollox permezz ta' mudell ta' livell ogħla, mingħajr tnaqqis li jista' jitkejjel fil-kwalità tal-output għall-kompiti tal-produzzjoni.
Kif Jaħdem ir-Rutaġġ ta' 8 Livelli
Kull talba li tiġi tiġi analizzata għall-kumplessità, ir-rekwiżiti tad-dominju, u l-kwalità tal-output meħtieġa qabel ma tasal għal kwalunkwe LLM. Il-magna tal-rutaġġ tikkunsidra fatturi bħall-għadd tat-tokens, il-fond tar-raġunament, ir-rekwiżiti tal-użu tal-għodod, u l-livell tal-kwalità tal-aġent li qiegħed jitlob. Hawn hija veduta ssimplifikata tal-livelli tagħna:
- Livell 1 (B'xejn) — mudelli ta' sors miftuħ leġġeri li jaħdmu lokalment. Jittratta klassifikazzjonijiet sempliċi, estrattar tal-kelmajet, u fformattjar tad-dejta. Spiża API żero.
- Livelli 2–3 (Spiża baxxa) — Mudelli ta' sors miftuħ akbar fuq GPU lokali. Tajbin għas-sommarizzar, it-traduzzjoni, u l-estrattar tad-dejta strutturata.
- Livelli 4–5 (Medju) — Mudelli tal-cloud ta' livell medju. Prestazzjoni tal-ispejjeż bilanċjata għall-biċċa l-kbira tal-kompiti tan-negozju.
- Livelli 6–7 (Għoli) — Mudelli tal-cloud avanzati. Raġunament kumplessi, analiżi b'passi multipli, ġenerazzoni tal-kodiċi.
- Livell 8 (Premium) — Mudelli premium ta' livell ogħla. Riservati għal deċiżjonijiet kritiċi: analiżi legali, immudelljar finanzjarju, disinn arkitetturali, outputs iddiretti lejn il-CEO.
L-Intelliġenza Wara r-Rutaġġ
Id-deċiżjoni tar-rutaġġ mhix tfittxija sempliċi ta' kelmajet. Il-klassifikatur tagħna jevalwa kull talba fuq dimensjonijiet multipli: kumplessità tar-raġunament, preċiżjoni tal-fatti, format tal-output, u kritiċità tan-negozju. Il-klassifikatur innifsu jaħdem fuq mudell leġġer, li jżid latenza negliġibbli.
B'mod kritiku, l-aġenti jistgħu jegħlbu r-router. Meta l-aġent CFO tagħna jipproċessa rapport finanzjarju kull tliet xhur, huwa dejjem jeskalaw għal-Livell 7–8 irrispettivament mill-kumplessità apparenti. L-egħlub speċifiċi għad-dominju jiżguraw li l-kuntest tan-negozju jegħleb il-klassifikazzjoni algoritmika.
Il-Kejl ta' Dak li Jgħodd
Insegwu l-effiċjenza tar-rutaġġ permezz ta' tliet metriċi: spiża għal kull kompitu rriżolt, punteġġ tal-kwalità, u rata tal-eskalazzjoni. Wara sitt xhur fil-produzzjoni, ir-rata tal-eskalazzjoni tagħna tinsab taħt 3%, li tfisser li r-router jidentifika korrettament il-livell it-tajjeb 97% tat-taħlitiet. Il-lezzjoni hija ċara: ir-rutaġġ intelliġenti mhux opzjonali — huwa d-differenza bejn operazzjonijiet tal-AI sostenibbli u spejjeż li ma jistgħux jiġu kkontrollati.