Què és la transmissió de tokens?
La transmissió de tokens és una tècnica de transmissió en la qual un LLM transmet la seva resposta de forma gradual — token per token o en petits lots — en lloc d'esperar a que es completi la generació completa. Des de la perspectiva de l'usuari, el text sembla estar sent escrit, el que millora significativament la capacitat de resposta percebuda.
Implementació tècnica
La transmissió es implementa típicament mitjançant Esdeveniments Enviats pel Servidor (SSE) o WebSockets. En el costat del servidor, el LLM envia cada token generat immediatament. En el costat del client, els tokens es mostren progressivament. APIs com OpenAI, Anthropic i Gemini admeten mode de transmissió mitjançant paràmetres especials (stream: true).
UX i rendiment
La transmissió redueix el temps fins al primer token (TTFT) — el temps fins al primer text visible — típicament a menys de 1 segon, fins i tot quan la resposta completa tarda més de 10 segons. Això millora significativament l'experiència de l'usuari. La transmissió és especialment important per a chatbots interactius, generació de codi i respostes llargues en aplicacions empresarials.