Chunking

¿Qué es el chunking?

Pasarle a una IA un documento de cincuenta páginas de una sola vez es caro y fácil de equivocar. El chunking (división en fragmentos) consiste en partir ese documento largo en piezas pequeñas, cada una con el contexto suficiente para encontrarse y entenderse por sí misma.

¿Por qué dividir — y hacerlo con cuidado?

Muy largo, y el modelo se ahoga
La ventana de contexto es finita. Vuelca un libro entero y las partes importantes se diluyen.
Muy corto, y el sentido se rompe
Un corte brusco puede partir una frase por la mitad o separar un pronombre de aquello a lo que se refiere.

Formas habituales de trocear

Fragmentos de tamaño fijo
Cortar por caracteres o tokens. Simple, pero puede partir una idea por la mitad.
Fragmentos estructurales
Seguir títulos, párrafos y secciones, respetando cómo está construido el documento.
Fragmentos con solapamiento
Dejar un poco de solape entre vecinos para que nada se pierda por las juntas.

Por qué importa tanto para RAG

La generación aumentada por recuperación vive o muere según cómo dividas. Divide bien y logras recuperación precisa y respuestas con fundamento; divide mal y ni un modelo potente saca sentido.

En resumen: el chunking corta documentos largos en piezas del tamaño de un bocado — si las sirves bien, la IA las digiere bien.