Zer da tokenen streaminga?
Tokenen streaminga transmisio teknika bat da, non LLM batek erantzuna gradualki transmititzen duen — tokenetik tokenera edo talde txikietan — osorik sortu baino lehen. Erabiltzailearen ikuspuntutik, testua idazten ari dela dirudi, eta erantzunaren gaitasuna asko hobetzen da.
Implementazio tekniko
Streaminga sarri implementatzen da Servidoraren Bidalitako Gertaerak (SSE) edo WebSockets bidez. Servidoraren aldean, LLMk sortutako tokena berehala bidaltzen du. Bezeroaren aldean, tokenak progresiboki erakusten dira. OpenAI, Anthropic eta Gemini APIak streaming modua onartzen dute parmetro bereziak erabiliz (stream: true).
UX eta errendimendua
Streamingak lehenengo tokenaren denbora (TTFT) — lehenengo testu ikusgaiaren denbora — murrizten du, sarri 1 segundotik gutxiagora, erantzun osoa 10 segundotik gorago irauten duenean ere. Honek erabiltzailearen esperientzia asko hobetzen du. Streaminga bereziki garrantzitsua da elkarreragileak dituzten chatbotetan, kodearen sorreran eta aplikazio komertzialeko erantzun luzeetan.