Фундамент інтелектуальних систем
Retrieval (пошук інформації) - це процес знаходження релевантних документів, фрагментів тексту або даних у відповідь на запит. У архітектурі RAG (Retrieval-Augmented Generation) retrieval є ключовим першим етапом - якісність отриманих даних визначає якісність відповіді, згенерованої моделлю AI. Ефективний retrieval поєднує швидкість (мілісекунди на мільйонах документів) з точністю (повертає те, чого насправді шукає користувач).
Методи пошуку
Sparse retrieval (BM25, TF-IDF) - класичне пошук, засноване на частоті слів, швидке і ефективне для точних збігів. Dense retrieval - векторне пошук, засноване на embeddingах, розуміє семантику питання. Hybrid retrieval - поєднує обидва підходи (наприклад, BM25 + вектори з фузією результатів), зазвичай дає найкращі результати. Graph retrieval - навігація по графі знань, ефективна для питань про відносини та зв'язки. Agentic retrieval - AI-агент динамічно вирішує, звідки і як отримувати інформацію.
Оптимізація retrievalu
Якість retrievalu залежить від багатьох чинників: стратегії chunkingu (як документи діляться), якості embeddingів (модель і fine-tuning), індексування (HNSW, IVF - алгоритми наближеного пошуку), query expansion (розширення запиту синонімами та контекстом), rerankingu (пересортування результатів) та фільтрів метаданих (зуження за датою, автором, категорією). Оцінка retrievalu вимагає метрик: recall@K, precision@K, MRR, NDCG - що міряють точність на різних рівнях ранжування.