Cén Fáth Sruthú
Glacann LLManna ó cúpla soicind go nóiméid chun freagraí fada a ghiniúint. Gan sruthú, feicfidh úsáideoirí scáileán bán go dtí go gcuirtear giniúint i gcrích — ag tabhairt na maolaithe go bhfuil an córas mall nó lochtach. Le sruthú, tosnaíonn téacs le feiceáil ar an gcéad comhartha — ag laghdú go mór latency braite cé go bhfuil am iomlán giniúna mar an gcéanna.
Cur Chun Feidhme
Tacaíonn formhór na nAPInna LLM le sruthú. Sa bhac, is gnách go n-úsáidtear sruthú SSE (Server-Sent Events) nó WebSockets. Seolann siad comhartha ar chomhartha chuig an gcliant, a ghabhann agus a léiríonn iad de réir mar a thagann siad. Soláthraíonn cuid de theaghlaigh an tsamhla ar féidir iad a chomhiomlánú ina bhloic téacs ina ionad sin chun an chumarsáid a laghdú.
Nithe le Cur san Áireamh
Féadfaidh roinnt córas dlúthchomhardaithe a bheith ag teastáil — cé gur cosúil go sruthóidh an freagra go mear, tá sé ag teacht de réir ais. Cuir i bhfeidhm láimhseáil earráidí cúramacha le haghaidh toibreacha nó dícheangal líonra le linn sruthú fad a phróiseálann an cúl cliseadh go mín.