📋 Anthropic 제공하는 데이터 웨어하우스 쿼리를 위한 전문 스킬
https://t.co/dU2MwbKVGu

= 시맨틱 레이어 우선 + 검수 필수라는 원칙을 지키면서, 범위 밖 질문은 명확히 에스컬레이션 함!

앤트로픽 블로그 "Claude를 통해 셀프서비스 데이터 분석을 구현하는 방법"를 찬찬히 보니 제공되는 정말 중요한 스킬이 있어서 반갑더군요!

앤트로픽 데이터 과학 팀이 사내 비즈니스 분석 쿼리의 95%를 자동화하고, 95% 이상의 정확도를 달성하기 위해 구축한 LLM 기반 데이터 분석 에이전트 시스템과 운영 노하우를 담고 있어요.

꼭 읽어보시면 좋을 것 같네요.

✅ "데이터는 소프트웨어가 아닙니다!"

데이터 분석에서 중요한건 코드를 잘 짜는게 아니라,, 정확한 맥락 파악과 검증에 있어요.

그래서 에이전트가 오류를 범하는 이유도 설명하고 있죠.

↓

📑 앤트로픽의 에이전트 기반 분석 스택

앤트로픽은 오류를 방지하기 위해 4가지 계층의 데이터 스택을 구축했어요.

1️⃣ 데이터 기반 > 모호성 제거

에이전트가 스스로 검증하기 쉽도록 데이터 구조를 친화적이고 명확하게 정돈해야 해요.

그래서 중복을 제거한 단일 정형 데이터셋을 구축하고, 스키마와 메타데이터를 코드 저장소에서 함께 엄격하게 관리해야 하죠.

2️⃣ 진실의 원천 > 레퍼런스 표면

에이전트가 질문의 비즈니스 의도를 올바르게 이해할 수 있도록 명확한 기준 레퍼런스를 제공해야 해요.

사람이 정의한 시맨틱 레이어를 최우선으로 참조하게 하고, 정제된 쿼리 코퍼스와 지식 그래프를 연동하여 활용해야 함!

3️⃣ 스킬 > 절차적 지식

스킬은 에이전트가 소스를 탐색하고 모호함을 다루는 절차를 안내하는 가이드.

분석 정확도를 21%에서 95% 이상으로 끌어올리는 매우 중요한 역할을 해요.

도메인별 스킬로 탐색 범위를 좁히고 분석 패턴을 번들링하여 제공하며, 데이터 모델 변경 PR 시 문서도 반드시 함께 갱신하도록 관리함!

4️⃣ 검증 > 오프라인 평가 + 피드백 루프

시스템을 변경할 때 정확도를 지속적으로 검증하기 위해 오프라인 평가 세트를 활용해요.

그리고 사용자의 실시간 피드백을 감지하여 자동으로 스킬과 참조 문서를 수정하는 자동화된 피드백 루프를 적용합니다.

💭

결론은 이거예요. 현재 LLM 기술이 빠르게 발전하고 있어요.

기술적 한계를 메우기 위해 무리하게 복잡한 인프라를 짜기보다는, 비즈니스의 복잡도와 최종 사용자의 기술적 수준에 맞춰서 점진적으로 확장합시다!