Por que importa a fragmentación
A fragmentación de documentos é o proceso de dividir documentos en segmentos semanticamente significativos máis pequenos para almacenalos en bases de datos vectoriais e ser recuperados por sistemas de IA. É un paso crítico na construción de pipelines RAG. A calidade da fragmentación impacta directamente na precisión da recuperación: fragmentos demasiado grandes dilúen a relevancia, mentres que fragmentos demasiado pequenos perden contexto importante. Acertar a fragmentación pode mellorar o rendemento de RAG máis que actualizar o modelo de linguaxe.
O desafío fundamental é preservar o significado a nivel de segmento mantendo os fragmentos o suficientemente pequenos para unha recuperación precisa.
Estratexias de fragmentación
A fragmentación de tamaño fixo divide o texto a intervalos regulares — simple pero a miúdo corta a metade de oración. O splitting recursivo por caracteres divide en límites naturais (párrafos, oracións) dentro de límites de tamaño. A fragmentación semántica usa similitude de embeddings para agrupar contido relacionado. A fragmentación consciente da estrutura do documento respeta encabezados, seccións e formato.
Para documentos estruturados como manuais técnicos ou contratos, a fragmentación xerárquica preserva as relacións pai-fillo entre seccións.
Técnicas de optimización
O solapamento entre fragmentos consecutivos asegura que os conceptos que abarcan límites non se perdan — tipicamente un 10–20 % funciona ben. O enriquecemento con metadatos engade títulos de sección, fonte e números de páxina. O tamaño de fragmento debe axustarse empiricamente: probe diferentes tamaños e mida a calidade de recuperación. Considere crear múltiplos tamaños do mesmo contido. Evalúe regularmente a calidade da fragmentación a medida que evoluciona o seu corpus.