루프 닫기: LLM 평가를 위한 프로덕션 드리프트 탐지

요약

LLM 평가 시 발생하는 '드리프트(Drift)'는 코드 변경 없이도 발생할 수 있습니다. 이는 모델 업데이트, 트래픽 변화, 주변 제품의 영향 등 다양한 원인에서 기인합니다. 따라서 CI 테스트와 달리 프로덕션 환경에서는 지속적인 모니터링과 통계적 테스트를 통해 드리프트를 탐지해야 합니다.

핵심 포인트

• 드리프트는 코드 변경 없이도 발생할 수 있습니다.
• CI 평가가 회귀 포착이라면, 프로덕션 모니터링은 실제 변화를 포착합니다.
• LLM-as-judge 기반의 실시간 트래픽 점수화가 핵심입니다.
• 골든 세트는 시간이 지나면서 부패하므로 지속적인 프로세스가 필요합니다.