Per què importa el chunking
El chunking de documents és el procés de dividir documents en segments semànticament significatius més petits per emmagatzemar-los en bases de dades vectorials i ser recuperats per sistemes d'IA. És un pas crític en la construcció de pipelines RAG. La qualitat del chunking impacta directament en la precisió de la recuperació: chunks massa grans dilueixen la rellevància, mentre que chunks massa petits perden context important. Encertar el chunking pot millorar el rendiment de RAG més que actualitzar el model de llenguatge.
El desafiament fonamental és preservar el significat a nivell de segment mantenint els chunks prou petits per a una recuperació precisa.
Estratègies de chunking
El chunking de mida fixa divideix el text a intervals regulars — senzill però sovint talla a mitja oració. El splitting recursiu per caràcters divideix en límits naturals (pàgines, oracions) dins de límits de mida. El chunking semàntic utilitza similitud d'incrustacions per agrupar contingut relacionat. El chunking conscient de l'estructura del document respecta encapçalaments, seccions i format.
Per a documents estructurats com manuals tècnics o contractes, el chunking jeràrquic preserva les relacions pare-fill entre seccions.
Tècniques d'optimització
La superposició entre chunks consecutius assegura que els conceptes que abasten límits no es perden — típicament un 10–20 % funciona bé. L'enriquiment amb metadades afegeix títols de secció, font i números de pàgina. La mida de chunk ha de ser ajustada empíricament: proveu diferents mides i mesureu la qualitat de recuperació. Considereu crear múltiples mides del mateix contingut. Avaluï regularment la qualitat del chunking a mesura que evoluciona el vostre corpus.