Chunker Markdown semantico per RAG & esportatore vettoriale JSONL
Suddividi il Markdown lungo i confini dei titoli # / ## / ### e secondo budget di token BPE mantenendo intatti i blocchi di codice delimitati.
Splitter di token RAG sensibile ai titoli
Esecuzione 100% locale nel browser — il tuo input non lascia mai questa scheda
Chunk totali
3
Dimensione media chunk
48 tok
Chunk più grande
64 tok
Protezione code fence
Attiva
Regole di suddivisione RAG basate sui titoli
- Confini strutturali dei titoli (
#,##,###): Raggruppa i paragrafi sotto il titolo della sezione padre anziché spezzare le frasi a metà. - Blocchi di codice atomici & provenienza JSONL: Mantiene intatti i blocchi di codice delimitati e associa i metadati
headingetokensa ogni record JSONL.
Domande frequenti
Perché il chunking Markdown basato sui titoli è migliore della suddivisione a numero fisso di caratteri per RAG?
Gli splitter basati solo sui caratteri tagliano a metà tabelle, blocchi di codice e paragrafi, separando il contenuto dal titolo della sezione. Il chunking sensibile ai titoli raggruppa i paragrafi sotto il titolo padre # / ## / ### e mantiene intatti i blocchi di codice delimitati.
Posso esportare i chunk direttamente per Pinecone, Qdrant, Weaviate o pgvector?
Sì. Imposta il formato di esportazione su JSONL o Array JSON per esportare oggetti strutturati contenenti chunk_index, heading, tokens e content.