Mis on LLM-i voogimine?
LLM-i voogimine viitab režiimile, kus mudel genereerib ja väljastab väljundi token-tokenilt, selle asemel et oodata täieliku vastuse genereerimise lõpetamist. Kasutaja näeb esimesi tokeneid mõni sekund enne täieliku vastuse kuvamist, tekst voolab pidevalt genereerimise ajal.
Rakendamislähenemised
Serveri poolt saadetud sündmused (SSE) on HTTP-põhine mehhanism ühesuunaliseks sündmuste voogimiseks — levinud protokoll voogivate LLM vastuste jaoks. WebSocket võimaldab kahesuunalisi kommunikatsioonikanaleid. Tarnija SDK-d pakuvad voogimiskliente, mis haldavad token-tokenilt voogimist.
Ettevõtte disainikaalutlused
Voogimine muudab vigade käsitlemise keerukamaks: kui voog ebaõnnestub poolel teel, mida peaks kasutajale näitama? Voogiva sisu vahemällu salvestamine on keerulisem kui täielike vastuste puhul. Turvakaalutlused hõlmavad: voogiva sisu turvaline filtreerimine on vajalik enne kasutajale kuvamist.