Problem stroškov pri podjetniški UI
Ko poganjate ducate UI agentov, ki dnevno obdelujejo tisoče zahtev, se stroški API-ja hitro seštevajo. En sam klic modela premium ravni lahko stane 10–50-krat več kot lahek lokalni model. Večina podjetij pa bodisi usmeri vse skozi drag model (kar bremeni proračun) bodisi za vse uporablja poceni model (kar žrtvuje kakovost). Nobeden pristop ne deluje v obsegu.
V ESKOM.AI smo to rešili z 8-nivojskim usmerjanjem LLM — sistemom, ki vsako zahtevo samodejno poveže z ustreznim modelom glede na kompleksnost, občutljivost in zahtevano kakovost.
Osem nivojev, osem namerov
Naš sistem usmerjanja oceni vsako zahtevo na podlagi večih dimenzij: zapletenosti naloge, zahtevane kakovosti, občutljive vsebine, zahtevanega sklepanja in hitrostnih zahtev. Glede na to oceno sistem izbere med 8 nivoji, ki segajo od ultra-lahkih lokalnih modelov do naše najzmogljivejše zmogljivosti v oblaku.
Praktični rezultati
8-nivojski sistem usmerjanja zagotavlja, da samo manjšina zahtev — tiste, ki resnično zahtevajo napredne zmogljivosti — kdaj doseže premium modele. Večina se obravnava lokalno ali z vmesnimi modeli. Posledica: znatno zmanjšanje stroškov pri ohranitvi kakovosti.
Zakaj lokalnih modelov ne smemo prezreti
Odprtokodni lokalni modeli so presenetljivo zmogljivi za prave naloge. Za klasifikacijo, povzetke, izluščevanje entitet in preprosto generiranje — lokalni model rivaliz modelom, ki so bili standard pred letom. Za podjetja, ki so občutljiva na podatke, lokalni modeli ponujajo kritično prednost: nič podatkov ne zapusti infrastrukture.