Enpresa-mailako AAren kostu-arazoa
Dozenaka AA agente egunero milaka eskaera prozesatzen dituztenean, API kostuak azkar pilatzen dira. Premium-mailako eredu-dei bakarrak 10-50 aldiz gehiago kosta dezake tokiko eredu arin bat baino. Hala ere, enpresa gehienek edo dena eredu garestian bideratzen dute (aurrekontua erretzen) edo eredu merkea erabiltzen dute denerako (kalitatea sakrifikatuz). Bi ikuspegiak ez dira funtzionatzen eskalan.
ESKOM.AI-n hau 8 mailako LLM bideratzearekin konpondu genuen — eskaera bakoitza kudeatzeko gai den eredu kostu-eraginkorrenarekin automatikoki parekatzen duen sistema. Emaitza: %70eko kostu-murrizketa dena goi-mailako ereduan bideratzearekin alderatuz, produkzio-atazetarako irteera-kalitatean murrizketa neurgarririk gabe.
Nola funtzionatzen du 8 mailako bideratzeak
Sarrerako eskaera bakoitza konplexutasuna, domeinu-eskakizunak eta beharrezko irteera-kalitatea aztertzen dira edozein LLMra iritsi aurretik. Bideratze-motoreak faktore hauek kontuan hartzen ditu: token-kopurua, arrazonamendu-sakonera, tresna-erabilera eskakizunak eta eskatzen duen agentearen kalitate-atalasea. Hona hemen gure mailen ikuspegi sinplifikatua:
- 1. maila (dohainikoa) — tokiko eredu arin irekiak. Sailkapen sinpleak, gako-hitzen erauzketa eta datu-formateatze kudeatzen ditu. Zero API kostu.
- 2-3. mailak (kostu baxua) — tokiko GPUan kode irekiko eredu handiagoak (8B-70B parametro). Laburpen, itzulpen eta datu egituratu erauzketa onak.
- 4-5. mailak (ertaina) — Hodei-mailako erdibideko ereduak. Kostu-errendimendu orekatua negozio-ataza gehienetarako.
- 6-7. mailak (altua) — Hodei-mailako eredu aurreratuak. Arrazonamendu konplexua, urrats anitzeko analisia, kode-sorrera.
- 8. maila (premiuma) — Goi-mailako premium ereduak. Erabaki kritikoetarako gordetzen dira: lege-analisia, finantza-modelatzea, arkitektura-diseinua, CEOari zuzendutako irteerak.
Bideratzearen atzeko adimena
Bideratze-erabakia ez da gako-hitz bilaketa sinple bat. Gure sailkatzaileak eskaera bakoitza dimentsio anitzetan ebaluatzen du: arrazonamendu-konplexutasuna (pentsamendu-katerik behar al du?), zehaztasun faktikoa (modu seguruan aluzina dezake ala zehatz izan behar du?), irteera-formatua (testu librea vs. JSON egituratua), eta negozio-kritikotasuna (barneko zirriborroa vs. bezeroari zuzendutako dokumentua). Sailkatzailea bera eredu arin batean exekutatzen da, latentzia arbuiagarria gehituz.
Garrantzitsua da agenteek bideratzailea gainidatz dezaketela. Gure CFO agenteak hiruhilabeteko finantza-txostena prozesatzen duenean, beti 7-8. mailara eskalatzen du, konplexutasun itxurazkoa edozein dela ere. Domeinuarentzako gainidazketa espezifikoek negozio-testuinguruak sailkapen algoritmikoa gainditzen duela bermatzen dute.
Garrantzitsua dena neurtzea
Bideratze-eraginkortasuna hiru metriken bidez jarraitzen dugu: ebatzitako atazako kostua (ez API deiko), kalitate-puntuazioa (irteeren giza-ebaluazioaren lagina), eta eskalazio-tasa (beheko maila baten erantzuna baztertzen den eta gorago birbideratzen den maiztasuna). Sei hilabete produkzioan igaro ondoren, gure eskalazio-tasa %3tik behera dago, bideratzaileak %97an maila egokia behar bezala identifikatzen duela esan nahi duena. Eredu anitzeko estrategiak kontuan hartzen dituzten enpresentzat, ikasgaia argia da: bideratze adimentsua ez da aukerakoa — AA eragiketa jasangarrien eta kostu kontrolik gabeen arteko diferentzia da.