RAGセマンティックMarkdownチャンカー & ベクトルJSONLエクスポーター
フェンス付きコードブロックを壊さずに、# / ## / ### の見出し境界とBPEトークン上限に沿ってMarkdownを分割します。
見出し階層対応RAGトークンスプリッター
100%ブラウザ内ローカル実行 — 入力データがこのタブの外へ送信されることはありません
総チャンク数
3
平均チャンクサイズ
48 tok
最大チャンク
64 tok
コードブロック保護
有効
見出し階層対応のRAG分割ルール
- 構造的な見出し境界 (
#,##,###): 文の途中で機械的に切断せず、親セクションの見出し単位で段落をグループ化します。 - コードフェンス保護 & JSONLメタデータ付与: フェンス付きコードブロックを分割せずに保持し、すべてのJSONLレコードに
headingとtokensメタデータを付与します。
よくある質問
RAGでは固定文字数での分割より見出し対応のMarkdownチャンク分割が優れているのはなぜですか？
単純な文字数スプリッターは表やコードブロック、段落の途中でテキストを切断してしまい、本文とセクション見出しの文脈が失われます。見出し対応チャンク分割では親の # / ## / ### 見出し単位で段落をまとめ、フェンス付きコードブロックもそのまま保持します。
Pinecone、Qdrant、Weaviate、pgvector向けにチャンクを直接エクスポートできますか？
はい。エクスポート形式をJSONLまたはJSON配列に切り替えると、chunk_index、heading、tokens、content を含む構造化オブジェクトとして書き出せます。