Découpeur sémantique Markdown RAG & exportateur JSONL vectoriel
Découpez vos documents Markdown selon les frontières de titres # / ## / ### et un budget de tokens BPE tout en préservant l’intégrité des blocs de code.
Séparateur de tokens RAG sensible aux titres
Exécution 100 % locale dans le navigateur — vos données ne quittent jamais cet onglet
Segments totaux
3
Taille moyenne
48 tok
Plus grand segment
64 tok
Protection des blocs de code
Active
Règles de découpage RAG sensible aux titres
- Frontières structurelles de titres (
#,##,###) : Regroupe les paragraphes sous le titre de leur section parente plutôt que de couper au milieu d’une phrase. - Blocs de code atomiques & provenance JSONL : Conserve les blocs de code délimités intacts et attache les métadonnées
headingettokensà chaque enregistrement JSONL.
Questions fréquentes
Pourquoi le découpage Markdown sensible aux titres est-il préférable au découpage par nombre fixe de caractères pour le RAG ?
Les découpeurs naïfs par caractères tranchent au milieu des tableaux, des blocs de code et des paragraphes, séparant le contenu du titre de sa section. Le découpage sensible aux titres regroupe les paragraphes sous leur titre parent # / ## / ### et conserve les blocs de code délimités intacts.
Puis-je exporter directement les segments pour Pinecone, Qdrant, Weaviate ou pgvector ?
Oui. Basculez le format d’export sur JSONL ou Tableau JSON afin d’exporter des objets structurés contenant chunk_index, heading, tokens et content.