Kas ir konteksta logs?
Konteksta logs ir maksimālais teksta apjoms (mērīts žetonos), ko MI modelis var "redzēt" vienlaicīgi — iekļaujot gan ievadi (uzvedne, dokumenti, sarunu vēsture), gan ģenerēto izvadi.
Konteksta loga izmēri
2024.–2026. gadu modeļi piedāvā arvien lielākus logus: GPT-4o — 128K žetonu (~300 lappuses teksta), Claude — 200K žetonu, Gemini — līdz 2M žetonu. Neskatoties uz to, konteksta logs paliek ierobežojums: vairāk teksta nozīmē lielākas izmaksas, lielāku latentumu un potenciāli sliktāku kvalitāti.
Konteksta pārvaldības stratēģijas
Biznesa sistēmās gudra konteksta loga pārvaldība ir izšķiroša: RAG (nodrošiniet tikai atbilstošus fragmentus, nevis veselus dokumentus), konteksta kompresija (sarunu vēstures apkopošana), aģentu hierarhija (katrs aģents strādā ar savu mazāku kontekstu) un atmiņas sistēmas (pastāvīga atmiņa ārpus konteksta loga).