이런거 진짜 귀하다...

요약

Cerebras가 내부 지식베이스를 구축한 사례를 공유합니다. Slack, GitHub 등 분산된 기존 툴의 데이터를 그대로 활용하여 LLM 기반 검색 시스템을 구현했습니다. 복잡한 쿼리 파이프라인과 효율적인 임베딩 기법으로 실제 업무에 적용 가능한 강력한 사내 도구를 만들었습니다.

핵심 포인트

• 데이터는 분산된 기존 툴(Slack, GitHub 등)에서 그대로 가져와야 합니다.
• Slack 메시지 처리를 위해 Full-text 검색과 임베딩을 결합한 고도화된 기법이 사용되었습니다.
• CocoIndex를 활용하여 대용량 코드 레포지토리의 효율적인 증분 임베딩이 가능합니다.
• Planner와 Parallel Tool fan-out 구조로 복잡한 쿼리 파이프라인을 설계했습니다.