화이트보드를 이해할 수 있는 AI는 유용합니다. 하지만 조용히 내용을 다시 쓰는 AI는 위험합니다. AI 기반 협업 노트인 Sidechalk를 구축하면서, 저는 이 차이를 제품의 핵심적인 신뢰 경계(trust boundary)로 설정했습니다. 즉, AI는 학습자의 작업 내용을 검토하고, 추론을 검증하며, 변경 사항을 제안할 수는 있지만, 오직 학습자만이 그 변경 사항을 수락할 수 있으며, 수락된 모든 변경 사항은 실행 취소(undo)가 가능해야 한다는 것입니다. 더 어려운 질문은 AI 제공업체의 속도가 느려지거나, 검증기(verifier)가 응답과 모순되는 결과를 내놓거나, 백그라운드 작업(background job)이 실패할 때도 이 경계가 여전히 유지됨을 증명할 수 있느냐 하는 것이었습니다.

SigNoz Agents 해커톤을 위해, 저는 OpenTelemetry와 SigNoz를 사용하여 Next.js 인터페이스부터 Fastify API, 모델 호출(model invocation), 결정론적 STEM 검증기(deterministic STEM verifier), 제안 검증(proposal validation), 영속성(persistence), 사용자 결정, BullMQ 워커, 그리고 실시간 전달에 이르기까지 이 전체 신뢰 루프를 계측(instrument)했습니다. 또한 개인정보를 보호하는 비용 및 신뢰성 지표, 대시보드와 알림, 임시 결함 실험실(fault lab), 그리고 읽기 전용 SigNoz MCP 도구를 통해 장애를 조사하는 관리자 전용 Incident Copilot을 구축했습니다. 이 포스트에서는 제가 무엇을 만들었는지, 텔레메트리(telemetry)가 어떻게 AI 제안을 최종적인 수락, 거절 또는 실행 취소와 연결하는지, 그리고 학습자의 실제 콘텐츠를 내보내지 않으면서 AI 시스템을 관찰 가능(observable)하게 만드는 과정에서 무엇을 배웠는지 설명합니다.