Kaj je kontekstno okno?
Kontekstno okno je največja količina besedila (merjena v žetonih), ki jo model UI lahko "vidi" hkrati — vključno z vhodom (poziv, dokumenti, zgodovina pogovora) in ustvarjenim izhodom.
Velikosti kontekstnega okna
Modeli iz obdobja 2024–2026 ponujajo vse večja okna: GPT-4o — 128K žetonov (~300 strani besedila), Claude — 200K žetonov, Gemini — do 2M žetonov. Kljub temu kontekstno okno ostaja omejitev: več besedila pomeni višji strošek, večjo latenco in potencialno slabšo kakovost.
Strategije upravljanja konteksta
V poslovnih sistemih je pametno upravljanje kontekstnega okna ključno: RAG (zagotovite le ustrezne fragmente, ne celotnih dokumentov), kompresija konteksta (povzemanje zgodovine pogovorov), hierarhija agentov (vsak agent deluje na svojem manjšem kontekstu) in sistemi spomina (trajni spomin zunaj kontekstnega okna).