Izmaksu problēma uzņēmuma MI jomā
Palaižot desmitiem MI aģentu, kas katru dienu apstrādā tūkstošiem pieprasījumu, API izmaksas ātri uzkrājas. Viens augstākā līmeņa modeļa izsaukums var maksāt 10–50 reizes vairāk nekā viegls vietējais modelis. Tomēr vairums uzņēmumu vai nu novirza visu caur dārgu modeli (iztērējot budžetu), vai izmanto lētu modeli visam (upurējot kvalitāti). Neviena pieeja nedarbojas mērogā.
ESKOM.AI atrisinājām to ar 8 līmeņu LLM maršrutēšanu — sistēmu, kas automātiski saskaņo katru pieprasījumu ar atbilstošo modeli, pamatojoties uz sarežģītību, jutīgumu un nepieciešamo kvalitāti.
Astoņi līmeņi, astoņi nolūki
Mūsu maršrutēšanas sistēma novērtē katru pieprasījumu, pamatojoties uz vairākām dimensijām: uzdevuma sarežģītība, nepieciešamā kvalitāte, jutīgs saturs, nepieciešamā spriešana un ātruma prasības.
Praktiskie rezultāti
8 līmeņu maršrutēšanas sistēma nodrošina, ka tikai mazākā daļa pieprasījumu — tie, kuriem patiešām nepieciešamas augstākās iespējas — jebkad sasniedz augstākā līmeņa modeļus. Vairums tiek apstrādāts lokāli vai ar starpposma modeļiem.
Kāpēc vietējos modeļus nevar ignorēt
Atvērtā koda vietējie modeļi ir pārsteidzoši spēcīgi pareiziem uzdevumiem. Klasifikācijai, kopsavilkumiem, entītiju iegūšanai un vienkāršai ģenerēšanai vietējais modelis konkurē ar modeļiem, kas pirms gada bija standarts. Datu jutīgiem uzņēmumiem vietējie modeļi piedāvā kritisku priekšrocību: nevieni dati neatstāj infrastruktūru.