Išlaidų problema įmonių DI srityje
Kai valdote dešimtis DI agentų, kasdien apdorojančių tūkstančius užklausų, API išlaidos greitai auga. Vienas aukščiausio lygio modelio iškvietimas gali kainuoti 10–50 kartų daugiau nei lengvas vietinis modelis. Tačiau dauguma įmonių arba nukreipia viską per brangų modelį (eikvodamos biudžetą), arba viskam naudoja pigų modelį (aukodamos kokybę). Nė vienas požiūris neveikia masto atveju.
ESKOM.AI tai išsprendėme su 8 lygių LLM nukreipimu — sistema, kuri automatiškai suporuoja kiekvieną užklausą su tinkamu modeliu pagal sudėtingumą, jautrumą ir reikalaujamą kokybę.
Aštuoni lygiai, aštuoni ketinimai
Mūsų nukreipimo sistema vertina kiekvieną užklausą pagal kelias dimensijas: užduoties sudėtingumas, reikalaujama kokybė, jautrus turinys, reikalaujamas samprotavimas ir greičio reikalavimai. Pagal šį vertinimą sistema renkasi iš 8 lygių, besistovinčių nuo itin lengvų vietinių modelių iki mūsų galingiausių debesų galimybių.
Praktiniai rezultatai
8 lygių nukreipimo sistema užtikrina, kad tik mažuma užklausų — tos, kurioms iš tikrųjų reikia pažangių galimybių — kada nors pasiekia aukščiausio lygio modelius. Dauguma tvarkomos vietiškai arba su tarpiniais modeliais. Rezultatas: žymus išlaidų sumažinimas išlaikant kokybę.
Kodėl negalima ignoruoti vietinių modelių
Atvirojo kodo vietiniai modeliai yra stebėtinai galingi tinkamoms užduotims. Klasifikavimui, santraukoms, objektų ištraukimui ir paprastam generavimui vietinis modelis konkuruoja su modeliais, kurie buvo standartas prieš metus. Su duomenims jautrioms įmonėms vietiniai modeliai siūlo kritinį pranašumą: jokie duomenys nepalieka infrastruktūros.