Zergatik da garrantzitsua zatiaketa
Dokumentuen zatiaketa prozesua da dokumentuak segmentu semantikoki esanguratsuagoetan banatzea, bektore-datu baseetan gordetzeko eta IA sistemek berreskuratzeko. Pipeline RAG eraikitzean urrats kritikoa da. Zatiaketaren kalitateak zuzenean eragiten du berreskuratzearen zehaztasunean: zatiaketa handiegiak erlatibitatea diluitzen dute, bitartean zatiaketa txikiak kontzeptu garrantzitsuak galtzen dituzte. Zatiaketa egokia lortzeak RAG-ren errendimendua hobetu dezake hizkuntza-modeloa eguneratzea baino.
Desafio nagusia segmentu mailan esanahia gordetzea da, zatiaketa txikiegiak izan gabe.
Zatiaketaren estrategiak
Tamaina finkoko zatiaketa testua tarteen erregularretan banatzen du — sinplea baina askotan esaldi erdian moztu egiten du. Karaktereetan oinarritutako zatitze errekurtsiboa muga naturalak dituen tarteen artean banatzen du (parrafoak, esaldiak) tamaina-mugen barruan. Zatiaketa semantikoa embedding antzekotasuna erabiltzen du edukiari lotuta taldekatzeko. Dokumentuaren egitura kontzientziko zatiaketa tituluetan, atalen eta formatuan errespetatzen du.
Dokumentu estrukturatuak, hala nola eskuliburu teknikoak edo kontratuak, zatiaketa hierarkikoa sektoreen arteko aita-seme harremanak gordetzen ditu.
Optimizazio-teknikak
Zatiaketa konsekutiboen arteko gainjartzeak bermatzen du muga gainditzen duten kontzeptuak ez direla galdu — tipikoki 10-20% ondo funtzionatzen du. Metadatuak aberasteko tituluetan, iturrietan eta orri-zenbaketan gehitzen dira. Zatiaketaren tamaina enpirikoki egokitzea behar da: saiatu zatiaketaren tamaina desberdinak eta neurtu berreskuratzearen kalitatea. Kontuan izan zatiaketaren tamaina desberdinak sortzea. Zatiaketaren kalitatea ebaluatu behar da erregularki zure korpusa eboluzionatzen den bitartean.