Фундамент интеллектуальных систем
Retrieval (поиск информации) — это процесс нахождения релевантных документов, фрагментов текста или данных в ответ на запрос. В архитектуре RAG (Retrieval-Augmented Generation) retrieval — ключевой первый этап: качество полученной информации определяет качество ответа, генерируемого моделью AI. Эффективный retrieval сочетает скорость (миллисекунды на миллионах документов) с точностью (возвращает то, что действительно ищет пользователь).
Методы поиска
Sparse retrieval (BM25, TF-IDF) — классический поиск на основе частоты слов, быстрый и эффективный для точных совпадений. Dense retrieval — векторный поиск на основе эмбеддингов, понимающий семантику вопроса. Hybrid retrieval — сочетает оба подхода (например, BM25 + векторы со слиянием результатов), обычно даёт лучшие результаты. Graph retrieval — навигация по графу знаний, эффективна для вопросов об отношениях и связях. Agentic retrieval — агент AI динамически решает, откуда и как получать информацию.
Оптимизация retrieval
Качество retrieval зависит от многих факторов: стратегии chunking (как делятся документы), качества эмбеддингов (модель и fine-tuning), индексирования (HNSW, IVF — алгоритмы приближённого поиска), query expansion (расширение запроса синонимами и контекстом), reranking (повторной сортировки результатов) и фильтров метаданных (сужение по дате, автору, категории). Оценка retrieval требует метрик: recall@K, precision@K, MRR, NDCG — измеряющих точность на разных уровнях ранжирования.