Чому потрібен рейтинг?
Рейтинг - це техніка покращення якості семантичного пошуку шляхом повторного сортування результатів за допомогою спеціалізованої моделі. Векторний пошук (перший етап) швидкий, але приблизний - порівнює ембеддинги, не аналізуючи глибоко зміст. Рейтінговий модуль (другий етап) приймає питання та кожен результат, аналізує їх разом і оцінює точність з набагато більшою точністю. Це як різниця між переглядом обкладинок книг і читанням анотацій.
Як працює рейтинг?
Пайплайн пошуку з рейтингом: (1) векторний пошук повертає топ-K результатів (наприклад, 50-100), (2) рейтінговий модуль аналізує кожен результат у контексті питання і присвоює бал точності, (3) результати сортується за новим балом, (4) топ-N (наприклад, 5-10) потрапляє до моделі LLM як контекст. Рейтінговий модуль повільніший за векторний пошук (аналізує пари текст-питання), але обробляє тільки попередньо відфільтровані результати, тому не впливає суттєво на затримку.
Вплив на якість RAG
Додавання рейтингу до пайплайну RAG покращує точність на 15-30% - це один з найбільш ефективних способів покращення якості без зміни генеративної моделі. Рейтинг особливо цінний, коли: документи в базі даних схожі за тематикою (наприклад, регламенти, процедури), питання неоднозначні, база знань велика (тисячі документів) або потрібна висока точність (комплаєнс, аудит). Крос-енкодери рейтінгових модулів досягають найкращих результатів, але спеціалізовані моделі (Cohere Rerank, BGE Reranker) пропонують добрий баланс якості та продуктивності.