RAG 시맨틱 Markdown 청커 & 벡터 JSONL 내보내기 도구
코드 블록을 온전히 보존하면서 # / ## / ### 제목 경계와 BPE 토큰 예산에 따라 Markdown을 분할합니다.
제목 인식 RAG 토큰 분할기
100% 브라우저 로컬 실행 — 입력 데이터는 이 탭 밖으로 전송되지 않습니다
전체 청크 수
3
평균 청크 크기
48 tok
최대 청크 크기
64 tok
코드 펜스 보호
활성
제목 인식 RAG 분할 규칙
- 구조적 제목 경계 (
#,##,###): 문장 중간을 자르는 대신 상위 섹션 제목 아래로 문단을 묶습니다. - 원자적 코드 펜스 & JSONL 출처 정보: 코드 블록을 쪼개지 않고 보존하며 모든 JSONL 레코드에
heading및tokens메타데이터를 첨부합니다.
자주 묻는 질문
RAG에서 고정 글자 수 분할보다 제목 인식 Markdown 청킹이 더 나은 이유는 무엇인가요?
단순 글자 수 분할기는 표, 코드 블록, 문단 한가운데를 잘라 본문과 섹션 제목의 연결을 끊어 놓습니다. 제목 인식 청킹은 상위 # / ## / ### 제목 아래에 문단을 묶고 코드 블록을 온전히 유지합니다.
Pinecone, Qdrant, Weaviate 또는 pgvector용으로 청크를 바로 내보낼 수 있나요?
네. 내보내기 포맷을 JSONL 또는 JSON 배열로 전환하면 chunk_index, heading, tokens, content가 포함된 구조화 객체를 내보낼 수 있습니다.