Zer da birrankatzea?
Birrankatzea kalitatea hobetzeko teknika bat da, bigarren mailako eredua erabiliz, hasierako emaitzak berreskuratzeko. Pipeline tipiko batean, azkar baina gutxi gorabehera (beinasa, bektore-similitude bidezko bilaketa) hautagai-talde zabal bat ateratzen da, eta gero birrankatzaileak hautagaia zehazki ebaluatzen du jatorrizko kontsultarekin, zehaztasun handiagoarekin emaitzak lortzeko. Bi etapatako hau azkartasuna konbinatzen du, gutxi gorabehera berreskuratzeko, eta xehetasunezko ebaluazioaren zehaztasunarekin.
Birrankatzaileak kontsulta eta dokumentu hautagaia batera ikusten ditu, aukera emanez erlatibitatearen xehetasunak ebaluatzeko, bektore-inbrikatzearen antzera bakarrik uzten dituenak.
Zergatik hobetzen du birrankatzeak emaitzak
Lehenengo etapako berreskuratzaileak, bektore-inbrikatzearen antzekoak, azkarrak baina ez perfektuak dira. Batzuetan emaitza tematikoki lotuak itzultzen dituzte, baina ez diete erantzuten benetan kontsultari. Birrankatzaileak, cross-encoder eredua, kontsulta eta dokumentua batera prozesatzen ditu transformadore baten bidez, hautsitako interakzioak harrapatuz.
Praktikan, birrankatzeak berreskuratze-metrikak %5-15ean hobetzen ditu, edo gehiago, IA-ren erantzunak nabarmen hobetuz RAG aplikazioetan.
Implementazioa RAG-pipelineetan
Birrankatzailea jartzen duzu berreskuratzearen eta sorreraren artean: hasierako talde zabalagoa berreskuratzen du (50-100 hautagai), birordenatzen du eta onenak pasatzen ditu hizkuntza-eredura. Orekatu birrankatzearen kalitatea vs. latentzia — cross-encoderak motelagoak dira. Ebaluatu birrankatzaileak zure domeinuko kontsultekin. Konbinatu birrankatzea metadatuak iragaztearekin eta aniztasun-kontrolarekin. Monitoreatu errendimendua denboran zehar.