Originally published on AI Tech Connect.

무엇을 알아야 할까요? 드리프트는 코드 변경 없이 발생합니다. 제공업체가 안정적인 별칭(alias) 뒤에 있는 모델을 업데이트하거나, 실제 트래픽이 귀하의 골든 세트(golden set)와 다르게 흐르거나, 주변 제품이 모델이 보는 것을 변화시키거나, 도구 의존성이 이동할 수 있습니다. 지속적인 모니터링은 CI 평가와는 다른 분야입니다. CI는 팀이 도입한 회귀(regression)를 포착합니다. 프로덕션 모니터링은 자신에게 발생한 회귀를 포착합니다. 샘플링된 실시간 트래픽을 점수 매기는 LLM-as-judge가 실질적인 핵심 기반이지만, 심지어 이 평가자 자체도 주기적인 재보정(recalibration)이 필요하며, 그렇지 않으면 평가하는 시스템과 함께 조용히 드리프트할 수 있습니다. 일반적인 샘플링 노이즈와 실제 회귀를 구분하는 것은 대시보드를 훑어보는 것이 아니라 통계적 테스트입니다. 골든 세트는 부패합니다. 해결책은 실제 프로덕션 인시던트를 다시 끌어들이는 지속적인 프로세스입니다…

AI Tech Connect에서 전체 기사 읽기 →