Fragmentador semántico RAG de Markdown y exportador JSONL vectorial
Divide documentos Markdown según los límites de encabezados # / ## / ### y presupuestos de tokens BPE manteniendo intactos los bloques de código delimitados.
Divisor de tokens RAG consciente de encabezados
Ejecución 100% local en el navegador — los datos nunca salen de esta pestaña
Total de fragmentos
3
Tamaño medio
48 tok
Fragmento mayor
64 tok
Protección de bloques de código
Activa
Reglas de división RAG basadas en encabezados
- Límites estructurales de encabezados (
#,##,###): Agrupa los párrafos bajo el encabezado de su sección superior en lugar de cortar a mitad de frase. - Bloques de código atómicos y procedencia en JSONL: Conserva intactos los bloques de código delimitados e incorpora metadatos
headingytokensen cada registro JSONL.
Preguntas frecuentes
¿Por qué la fragmentación de Markdown basada en encabezados es mejor que la división por número fijo de caracteres en RAG?
Los divisores ingenuos por caracteres cortan por la mitad tablas, bloques de código y párrafos, separando el contenido del título de su sección. La fragmentación consciente de encabezados agrupa los párrafos bajo su encabezado # / ## / ### correspondiente y mantiene intactos los bloques de código.
¿Se pueden exportar los fragmentos directamente para Pinecone, Qdrant, Weaviate o pgvector?
Sí. Al cambiar el formato de salida a JSONL o Array JSON se exportan objetos estructurados con los campos chunk_index, heading, tokens y content.