이런거 진짜 귀하다...
요약
Cerebras가 내부 지식베이스를 구축한 사례를 공유합니다. Slack, GitHub 등 분산된 기존 툴의 데이터를 그대로 활용하여 LLM 기반 검색 시스템을 구현했습니다. 복잡한 쿼리 파이프라인과 효율적인 임베딩 기법으로 실제 업무에 적용 가능한 강력한 사내 도구를 만들었습니다.
핵심 포인트
- 데이터는 분산된 기존 툴(Slack, GitHub 등)에서 그대로 가져와야 합니다.
- Slack 메시지 처리를 위해 Full-text 검색과 임베딩을 결합한 고도화된 기법이 사용되었습니다.
- CocoIndex를 활용하여 대용량 코드 레포지토리의 효율적인 증분 임베딩이 가능합니다.
- Planner와 Parallel Tool fan-out 구조로 복잡한 쿼리 파이프라인을 설계했습니다.
이런거 진짜 귀하다...
Cerebras가 내부 지식베이스(Knowledge Base) 만든 이야기. 직원들이 질문 쏟아붓는 핵심 툴 됐음. 3개월 만에 회사에서 제일 잘 쓰이는 도구.
핵심 포인트
데이터는 흩어져 있어야 함: Slack, GitHub, Jira, Docs 등 기존 툴에서 그대로 끌어옴. "하나로 모으자"는 환상 포기.
Slack 처리 미친듯이 잘함: Thread 전체 재패치 + LLM으로 Question/Summary/Resolution 추출 + Burst(연속 메시지) 임베딩. Full-text + Embedding + IDF + Age decay 섞어서 검색.
코드 repo: CocoIndex 써서 incremental embedding. 40GB+ repo도 효율적으로.
쿼리 파이프라인: Planner → Parallel Tool fan-out (search, slack, code, who_knows 등) → RRF + Reranker → Synthesis. MCP로 agent도 직접 tool call 가능.
Project scoping: 팀별로 Slack/Repo 필터링해서 "전체 검색" 지옥 피함.
인상적 부분
Retrieval만으로도 agent가 제대로 돌아가게 만든 실전 사례. Knowledge Graph는 안 쓰고 hybrid search + LLM distillation으로 승부. CocoIndex 만든 사람들도 극찬함.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: 한국 AI/LLM의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기