Kas yra konteksto langas?
Konteksto langas — tai maksimalus teksto kiekis (matuojamas žetonais), kurį DI modelis gali "matyti" vienu metu — įskaitant įvestį (raginimą, dokumentus, pokalbių istoriją) ir sugeneruotą išvestį.
Konteksto lango dydžiai
2024–2026 m. modeliai siūlo vis didesnius langus: GPT-4o — 128K žetonų (~300 puslapių teksto), Claude — 200K žetonų, Gemini — iki 2M žetonų. Nepaisant to, konteksto langas išlieka apribojimu: daugiau teksto reiškia didesnes išlaidas, didesnį vėlinimą ir potencialiai prastesnę kokybę.
Konteksto valdymo strategijos
Verslo sistemose protingas konteksto lango valdymas yra esminis: RAG (pateikite tik susijusius fragmentus, ne ištisus dokumentus), konteksto suspaudimas (pokalbių istorijos apibendrinimas), agentų hierarchija (kiekvienas agentas dirba su savo mažesniu kontekstu) ir atminties sistemos (ilgalaikė atmintis už konteksto lango ribų).