Poziv kot vmesnik med podjetjem in modelom
V sistemih AI, temelječih na LLM, je poziv najpomembnejši element, ki določa kakovost rezultata. A v podjetnem okolju poziv ni le besedilo, ki ga nekdo napiše — je kritični del programske opreme, ki zahteva enak rigor kot izvorna koda: verzioniranje, testiranje, pregled in spremljanje delovanja v produkciji.
Sistematični pristop k predlogam pozivov
Podjetniške predloge pozivov se razlikujejo od ad-hoc pozivov: so parametrizirane — vsebujejo spremenljivke, ki se izpolnijo glede na kontekst naloge, verzionirane — vsaka sprememba je beležena z razlogom in rezultati testov, modularne — skupne komponente (varovala, formati izhoda, kontekst domene) se delijo med predlogami, testirane — vsaka predloga ima nabor testnih primerov s pričakovanimi rezultati.
Varovala: preprečevanje neželenih izhodov
V podjetnem okolju neželeni izhodi LLM niso le neprijetna težava — so tveganje za ugled, skladnost ali celo pravna odgovornost. Varovala so mehanizmi, ki preprečujejo: generiranje vsebine izven pooblaščenega področja (finančni agent, ki daje pravne nasvete), razkritje zaupnih informacij v odgovorih, halucinacije — trditve dejstev brez podpore v izvorih, neprimernega tona ali jezika za poslovni kontekst.
Evalvacija in stalno izboljševanje
Inženirija pozivov brez sistematične evalvacije je ugibanje. Podjetniška evalvacija pozivov vključuje: avtomatizirane teste — nabor vhodov z referenčnimi izhodi, ki se izvajajo po vsaki spremembi poziva, metrike kakovosti — natančnost, popolnost, relevantnost, doslednost, varnost — merjene samodejno ali s človeškimi ocenjevalci, A/B testiranje — nova različica poziva teče vzporedno s staro, primerjava rezultatov na realnih podatkih, spremljanje drsenja — kakovost pozivov se spreminja s časom, ker se spreminjajo modeli, podatki in primeri uporabe.
Upravljanje pozivov v praksi
ESKOM.AI upravlja pozive kot izvorno kodo — z verzioniranjem, pregledi, testi in nadzorom sprememb. Vsak od ducatov agentov ima svoj nabor pozivov, optimiziranih za specifično domeno in nalogo. Sistem omogoča A/B testiranje pozivov v produkciji in samodejno vrnitev na prejšnjo različico, če nova ne dosega zahtevanih pragov kakovosti.