안녕하세요 HN! 저희는 Shreyash와 Bhavnick입니다. 저희는 데이터 청킹(chunking) 및 임베딩(embedding)을 위한 오픈 소스 라이브러리인 Chonkie (https://chonkie.ai)를 개발하고 있습니다.
Python: https://github.com/chonkie-inc/chonkie
TypeScript: https://github.com/chonkie-inc/chonkie-ts

저희 코드 청커(code chunker)를 보여주는 영상입니다:

.

Bhavnick과 저는 몇 년 동안 LLM을 활용한 개인 프로젝트를 진행해 왔습니다. 이 기간 동안 저희는 RAG 애플리케이션을 지원하기 위해 자체 청킹 로직을 작성하는 경우가 많았습니다. 기존 라이브러리를 사용하는 것을 주저했는데, 그 이유는 기본적인 기능만 제공하거나 너무 무겁기(일부는 80MB 이상) 때문이었습니다.

저희는 Chonkie를 가볍고(lightweight), 빠르고(fast), 확장 가능하며(extensible), 사용하기 쉽게 만들기 위해 개발했습니다. 이 분야는 빠르게 진화하고 있으며, 저희는 Chonkie가 최신 전략들을 신속하게 지원할 수 있기를 바랐습니다. 현재 다음 기능을 지원합니다:

• 토큰 청킹(Token Chunking),
• 문장 청킹(Sentence Chunking),
• 재귀적 청킹(Recursive Chunking),
• 의미론적 청킹(Semantic Chunking),
• 의미론적 이중 패스 청킹 (Semantic Double Pass Chunking): 텍스트를 먼저 의미론적으로 청크한 다음, 밀접하게 관련된 청크들을 병합합니다.
• 코드 청킹 (Code Chunking): AST(Abstract Syntax Tree)를 생성하여 코드 파일을 분할하고 이상적인 분할 지점을 찾습니다.
• 후기 청킹 (Late Chunking): 논문(https://arxiv.org/abs/2409.04701)에 기반하며, 더 긴 문서를 임베딩하여 청크 임베딩을 도출합니다.
• 슬럼버 청킹 (Slumber Chunking):