Що таке вікно контексту?
Вікно контексту (англ. context window) - це максимальна кількість тексту (вимірювана в токенах), яку модель AI може "бачити" одночасно - охоплює як вхідні дані (промпт, документи, історію розмови), так і згенеровану відповідь.
Розміри вікон контексту
Моделі з 2024-2026 років пропонують усе більші вікна: GPT-4o - 128 тисяч токенів (~300 сторінок тексту), Claude - 200 тисяч токенів, Gemini - до 2 млн токенів. Незважаючи на це, вікно контексту залишається обмеженням: чим більше тексту, тим вищий кошт, довша затримка і потенційно гірша якість ("загублене в середині").
Стратегії управління контекстом
У системах підприємства важливим є розумне управління вікном контексту: RAG (надавати тільки релевантні фрагменти, а не цілі документи), компресія контексту (стиснення історії розмови), ієрархія агентів (кожен агент працює у своєму, меншому контексті) і системи пам'яті (персистентна пам'ять поза вікном контексту).