500 페이지 PDF 를 chunking 이나 embedding 없이 검색할 수 있습니다.

요약

이 기술 기사는 500페이지 분량의 PDF 파일 같은 대용량 문서를 청킹(chunking)이나 임베딩(embedding) 과정 없이 검색할 수 있는 새로운 방법을 소개합니다. Andrej Karpathy가 제안한 아이디어에 기반하여, 지식 베이스를 벡터 데이터베이스 대신 위키처럼 작동하도록 설계된 오픈소스 CLI 도구인 OpenKB를 활용하는 것이 핵심입니다.

핵심 포인트

• 대용량 PDF 파일 검색 시 청킹이나 임베딩 과정이 필요 없어졌습니다.
• 지식 베이스를 벡터 데이터베이스가 아닌 위키(Wiki)와 같은 방식으로 작동하도록 설계했습니다.
• OpenKB는 이러한 개념을 구현한 오픈소스 CLI 도구입니다.
• 원시 데이터를 컴파일하여 검색 효율성을 높였습니다.