RAG 语义 Markdown 分块器与向量 JSONL 导出工具
沿 # / ## / ### 标题边界与 BPE Token 预算切分 Markdown，同时保持围栏代码块完整不截断。
标题感知型 RAG Token 切分器
100% 浏览器本地执行 — 您的输入内容绝不离开当前标签页
总分块数
3
平均分块大小
48 tok
最大分块
64 tok
代码围栏保护
已启用
标题感知型 RAG 切分规则
- 结构化标题边界（
#、##、###）：将段落归入所属父级章节标题之下，避免在句子中间生硬截断。 - 原子级代码围栏与 JSONL 溯源：保持围栏代码块完整不拆分，并为每条 JSONL 记录附加
heading与tokens元数据。
常见问题
在 RAG 场景下，为什么标题感知型 Markdown 分块优于固定字符数切分？
简单的固定字符切分器会直接截断表格、代码块与段落，使正文脱离其章节标题。标题感知分块会将段落归入所属父级 # / ## / ### 标题之下，并保持围栏代码块完整。
能否导出可直接写入 Pinecone、Qdrant、Weaviate 或 pgvector 的分块数据？
可以。将导出格式切换为 JSONL 或 JSON 数组，即可导出包含 chunk_index、heading、tokens 与 content 字段的结构化对象。