ToMarkdown

Chunker semântico de Markdown para RAG & exportador JSONL vetorial

Divida Markdown pelos limites de títulos # / ## / ### e por orçamentos de tokens BPE mantendo blocos de código cercados intactos.

Divisor de tokens para RAG orientado a títulos
Execução 100% local no navegador — sua entrada nunca sai desta aba
Total de chunks
3
Tamanho médio
48 tok
Maior chunk
64 tok
Proteção de blocos
Ativa
Converter documento primeiro

Regras de divisão para RAG orientadas a títulos

  1. Limites estruturais de títulos (#, ##, ###): Agrupa parágrafos sob o título da seção correspondente em vez de cortar frases ao meio.
  2. Blocos de código atômicos & proveniência em JSONL: Mantém blocos de código cercados intactos e anexa os metadados heading e tokens a cada registro JSONL.

Perguntas frequentes

Por que o chunking de Markdown orientado a títulos é melhor do que a divisão fixa por caracteres em RAG?

Divisores simples por número de caracteres cortam tabelas, blocos de código e parágrafos ao meio, separando o conteúdo do título da seção. O chunking orientado a títulos agrupa os parágrafos sob o título pai # / ## / ### e mantém blocos de código cercados intactos.

Posso exportar chunks diretamente para Pinecone, Qdrant, Weaviate ou pgvector?

Sim. Altere o formato de saída para JSONL ou Array JSON para exportar objetos estruturados contendo chunk_index, heading, tokens e content.