일주일 동안 저는 다섯 가지 오픈 소스 (open-source) 도구를 구축하고 출시했습니다: 권한 인지형 RAG 코어, MCP 서버용 보안 스캐너, 에이전트용 관측성 (observability) 도구, 프롬프트 회귀 (prompt regression) CI, 그리고 RAG 답변에 암호화된 영수증을 부여하는 라이브러리입니다. 이들은 다섯 개의 서로 다른 프로젝트처럼 보이지만, 사실 하나의 논점을 담고 있습니다.

그 논점은 바로 이것입니다: 프로덕션 환경에서 AI 시스템의 어려운 점은 모델이 무언가를 말하게 만드는 것이 아닙니다. 모델이 말한 내용을 신뢰할 수 있는지 아는 것, 그리고 나중에 그것을 증명할 수 있는 것입니다.

생성은 저렴하지만, 검증은 비싸다

모델은 자신감 있는 답변을 생성하는 데는 매우 뛰어나지만, 그 답변이 옳은지 아는 데는 매우 서툽니다. 단일 챗봇을 구축할 때는 사람이 각 답변을 읽음으로써 이 문제를 임시로 해결할 수 있습니다. 하지만 10개의 에이전트를 확장하거나, 개인 문서에 대해 검색 (retrieval)을 수행하거나, 실제 동작을 수행하는 음성 에이전트를 출시할 때는 사람이 사라지며, 자신감 있지만 틀린 답변이 그대로 통과되어 버립니다.

따라서 유용한 작업의 중심이 이동합니다.

agentrace는 별도의 계측 (instrumentation) 없이 에이전트 세션 트랜스크립트 (transcripts)를 읽고, 신뢰할 수 없는 실행을 표시합니다: 모호한 주장, 누락된 출력 계약 (output contracts), 침묵하는 오류 (silent errors) 등입니다. 모든 체크 항목은 제가 수많은 실행 과정에서 직접 겪은 실제 실패 사례에서 비롯되었습니다.

evalgate는 프롬프트 (prompts)를 위한 회귀 테스트용 CI (regression CI)입니다. 모든 풀 리퀘스트 (pull request)마다 평가 스위트 (eval suite)를 실행하고, 베이스라인 (baseline)과 비교하여 품질 차이 (quality delta)를 댓글로 남깁니다. 타입 체크 (types checking)가 실패할 때와 마찬가지로, 프롬프트가 더 멍청해지면 빌드가 실패합니다.

answerproof는 RAG 답변에 서명되고 변조 방지가 가능한 영수증을 첨부합니다: 어떤 소스가 검색되고 인용되었는지, 누구의 권한 하에 이루어졌는지를 Merkle root 및 누구나 독립적으로 검증할 수 있는 Ed25519 서명과 함께 제공합니다.

왜 지루한 레이어를 만드는가

이 중 어느 것도 화려한 데모가 아닙니다. 아바타도 없고, 당신의 이메일을 대신 써주는 채팅도 없습니다. 이것들은 배관 (plumbing)입니다. 하지만 배관이야말로 AI 제품이 프로덕션 (production) 환경에서 고장 나는 바로 그 지점이며, 아무도 스크린샷을 올리지 않는 부분이기 때문에 구축이 미흡한 상태로 남아 있습니다.

저는 단순한 이유로 이 점이 흥미롭다고 생각합니다. 데모는 이미 존재합니다. 대부분의 스택에서 존재하지 않는 것은 바로 "아니오"라고 말하는 레이어입니다. 당신이 볼 수 없는 것을 가져오기를 거부하는 검색 (retrieval), MCP 서버가 배포되기 전에 실패를 알리는 스캐너, 회귀 (regression)를 차단하는 평가 (eval), 그리고 타인이 당신의 작업을 확인할 수 있게 해주는 영수증 말입니다.

공통된 형태

자세히 살펴보면 이 다섯 가지는 하나의 패턴을 공유합니다. 각각은 체크 과정을 "사후에 사람이 수행하는 것"에서 "시스템 내부에서 코드로 강제되는 것"으로 이동시킵니다.

• vaultrag는 권한 확인 (permission check)을 포스트 필터 (post-filter)에서 쿼리 (query) 내부로 이동시킵니다.
• mcp-audit는 보안 검토 (security review)를 수동 감사 (manual audit)에서 CI로 이동시킵니다.
• evalgate는 프롬프트 품질 판단 (prompt-quality judgment)을 출력을 눈으로 확인하는 사람으로부터 게이트 (gate)로 이동시킵니다.
• answerproof는 "나를 믿으라"를 "직접 검증하라"로 이동시킵니다.
• agentrace는 "나중에 트랜스크립트를 읽어보자"를 "지금 즉시 표시하라"로 이동시킵니다.

그것이 전체 논지입니다. AI 시스템에 대한 신뢰는 마지막에 추가하는 분위기(vibe)가 아닙니다. 그것은 체크 항목 하나하나를 통해 구축해야 하는 속성(property)이며, 이상적으로는 문제가 발생했을 때 명확하게 실패를 알리는(fails loudly) 속성이어야 합니다.

다음 단계

저는 이 계층(layer)을 계속해서 구축해 나갈 것입니다. 왜냐하면 이곳이 지속 가능한 작업(durable work)이 이루어지는 곳이라고 생각하기 때문입니다. 만약 여러분이 프로덕션(production) 환경에서 에이전트(agents)나 RAG를 구축하며 신뢰 문제로 어려움을 겪고 있다면, 이 도구들은 모두 MIT 라이선스로 제공되므로 여러분의 환경에서 어떤 부분이 제대로 작동하지 않는지 진심으로 듣고 싶습니다.

각 도구에 대한 링크는 제 GitHub에 있습니다: github.com/royalpinto007. 앞으로 몇 주에 걸쳐 각 도구에 대해 별도의 포스트로 작성할 예정입니다.