임베딩 없이 지식 에이전트 구축하기: 파일 시스템 기반의 혁신

기존의 지식 에이전트(Knowledge Agent)는 벡터 데이터베이스(Vector DB), 청킹 파이프라인(Chunking Pipeline), 임베딩 모델을 거치는 방식이 일반적이었습니다. 이 구조는 의미적 유사성(semantic similarity) 검색에는 효과적이지만, 문서에서 특정 값을 추출하거나 답변의 근거를 추적할 때 심각한 한계에 직면합니다.

문제는 '사일런트 실패 모드(silent failure mode)'입니다. 에이전트가 잘못된 청크(chunk)를 높은 점수로 확신하며 반환해도, 질문에서 어떤 경로로 이 청크가 선택되었는지 추적하기 어렵습니다. 디버깅 과정은 복잡하여, 단순히 '청킹 경계 문제인지', '임베딩 모델의 한계인지', '유사도 임계값(similarity threshold) 설정 오류' 등 여러 변수를 추측해야 합니다.

Vercel은 이러한 비효율성을 극복하기 위해 접근 방식을 근본적으로 바꿨습니다. 벡터 파이프라인을 파일 시스템(Filesystem) 기반 검색으로 대체하고, 에이전트가 Bash 명령어를 실행하도록 했습니다. 이 변화로 인해 호출당 비용이 약 $1.00에서 $0.25 수준으로 절감되었으며, 출력 품질과 신뢰성이 향상되었습니다.

핵심은 LLM 자체가 파일 시스템을 다루는 데 최적화되어 있다는 통찰에 있습니다. LLM은 방대한 양의 코드(code)를 학습했기 때문에 디렉토리 탐색, grep 검색, 복잡한 코드베이스 상태 관리 등 파일 시스템 작업에 매우 능숙합니다. 따라서 에이전트에게 새로운 기술을 가르치는 것이 아니라, 이미 가장 잘하는 본연의 능력을 활용하는 것입니다.

지식 에이전트 템플릿 (Knowledge Agent Template) 아키텍처:

새로운 지식 에이전트 템플릿은 오픈 소스로 공개되었으며, 벡터 DB나 임베딩 모델 없이도 작동합니다. 이 아키텍처는 다음 세 가지 핵심 원시 요소(primitives)를 연결합니다:

1. 파일 시스템 검색 (Filesystem Search): 모든 지식을 단일한 파일 시스템에 저장하고 관리합니다.
2. Bash 명령어 실행: 에이전트가 grep, find, cat 등의 실제 운영체제 명령어를 사용하여 정보를 추출합니다.
3. Vercel Sandbox: 격리된 환경(isolated environment)에서 검색 및 추론을 수행하여 안정성을 보장합니다.

주요 장점 및 혁신 포인트:

• 설명 가능성 (Explainability): 에이전트가 잘못된 답변을 내놓더라도, 트레이스(trace)를 열어보면 '어떤 파일에서', '어떤 명령어를 실행하여', '왜 그 섹션을 읽었는지' 명확하게 확인할 수 있습니다. 디버깅 과정이 추측이 아닌 검증으로 바뀝니다.
• 비용 효율성 및 성능: 벡터 DB 관리나 임베딩 모델 호출 비용을 제거함으로써 운영 비용을 크게 절감했습니다.
• 다중 소스 통합 (Multi-Source Integration): GitHub 리포지토리, YouTube 스크립트, 마크다운 문서 등 어떤 형태의 소스든 단일 에이전트에 연결할 수 있습니다. 모든 지식이 하나의 '진실의 근원(source of truth)'을 이룹니다.
• 플랫폼 확장성 (Chat SDK): Chat SDK를 통해 개발된 단일 에이전트를 Slack, Discord, Teams 등 사용자가 존재하는 모든 채널에 쉽게 배포하고 통합할 수 있습니다. 각 어댑터는 플랫폼별 특성(인증, 메시지 형식)만 처리하며, 핵심 로직은 변경되지 않습니다.
• 자동화된 관리 기능: 템플릿에는 사용량 통계, 오류 로그, 사용자 관리 등 완전한 관리자 인터페이스가 포함되어 있어 외부 관측 가능성 도구(observability tool) 없이도 운영이 가능합니다. 또한, 복잡성 라우터(complexity router)를 통해 질문의 난이도를 자동으로 분류하여 비용 최적화까지 수행합니다.