ToMarkdown

Semantischer RAG-Markdown-Chunker & Vektor-JSONL-Exporter

Teilen Sie Markdown entlang von # / ## / ###-Überschriftengrenzen und BPE-Token-Budgets, ohne eingezäunte Codeblöcke zu zerschneiden.

Überschriftenbasierter RAG-Token-Splitter
100 % lokale Ausführung im Browser — Ihre Eingabe verlässt diesen Tab nie
Chunks gesamt
3
Ø Chunk-Größe
48 Tok.
Größter Chunk
64 Tok.
Codeblock-Schutz
Aktiv
Zuerst Dokument umwandeln

Regeln für überschriftenbasiertes RAG-Chunking

  1. Strukturelle Überschriftengrenzen (#, ##, ###): Gruppiert Absätze unter ihrer übergeordneten Abschnittsüberschrift, statt mitten im Satz zu schneiden.
  2. Atomare Codeblöcke & JSONL-Herkunftsdaten: Hält eingezäunte Codeblöcke vollständig zusammen und hängt jedem JSONL-Eintrag die Metadaten heading und tokens an.

Häufig gestellte Fragen

Warum ist überschriftenbasiertes Markdown-Chunking für RAG besser als feste Zeichenschnitte?

Einfache Zeichen-Splitter schneiden mitten durch Tabellen, Codeblöcke und Absätze und trennen Inhalte von ihrer Abschnittsüberschrift. Überschriftenbasiertes Chunking gruppiert Absätze unter ihrer übergeordneten # / ## / ###-Überschrift und lässt Codeblöcke intakt.

Kann ich Chunks direkt für Pinecone, Qdrant, Weaviate oder pgvector exportieren?

Ja. Stellen Sie das Ausgabeformat auf JSONL oder JSON-Array um, um strukturierte Objekte mit chunk_index, heading, tokens und content zu exportieren.