Čo je reranking?
V RAG (Retrieval-Augmented Generation) systémoch sa retrieval často robí v dvoch fázach. Prvý krok – prvotný retrieval – používa rýchle aproximatívne metódy (ANN search na vektorových embeddingoch), ktoré vracajú kandidátne dokumenty. Druhý krok – reranking – aplikuje presnejší, ale pomalší model na ohodnotenie relevancie každého kandidáta.
Tento dvojfázový prístup kombinuje rýchlosť s presnosťou: ANN retrieval je niekoľko rádov magnitúdy rýchlejší ako plné cross-encoder hodnotenie.
Cross-encoder reranker
Cross-encoder modely spracúvajú dotaz a dokument spoločne – na rozdiel od bi-encoderov, kde sa dotaz a dokument enkódujú oddelene. Tento spoločný vstup umožňuje presnejšie hodnotenie relevancie, pretože model môže zachytiť jemné vzťahy medzi dotazom a dokumentom.
Populárne reranking modely zahŕňajú Cohere Rerank, BGE Reranker, ms-marco kolekciu a Jina Reranker. Všetky sú dostupné cez API alebo ako open source modely na lokálne nasadenie.
Kedy používať reranking?
Reranking je najužitočnejší, keď presnosť retrieval fázy nie je dostatočná – napríklad pri dlhých dotazoch, špecifickom domain knowledge alebo ak prvý retrieval vracia príliš veľa šumu. Pridanie rerankera typicky zlepšuje celkovú kvalitu RAG o 10-30 percent podľa benchmarkov, ale zvyšuje latenciu výsledku.