Cos'è il reranking?
Il reranking è una tecnica per migliorare i sistemi di recupero, in cui viene prima recuperato un grande numero di candidati (es. 100 documenti) con una procedura di recupero rapida ma meno precisa. Un modello cross-encoder più preciso riordina poi questi candidati in base alla loro effettiva rilevanza rispetto alla query.
Dettagli tecnici
I modelli bi-encoder (es. sentence-transformers) sono veloci per la prima fase, poiché codificano query e documento indipendentemente. I modelli cross-encoder (es. Cohere Rerank, BGE-Reranker) tengono conto dell'interazione tra query e documento e sono più precisi ma più lenti. Questa pipeline in due fasi offre il miglior equilibrio tra velocità e qualità.
Applicazioni RAG
Nei sistemi RAG, il reranking migliora significativamente la qualità del contesto passato agli LLM. Gli studi mostrano che il reranking può migliorare la qualità delle risposte RAG del 20–40%. È particolarmente importante per basi di conoscenza di grandi dimensioni e query specifiche del dominio, dove il semplice scoring di similarità è spesso insufficiente.