평가 스크립트만 4개월 전 모델을 보고 있었다

요약

어획 기록 앱 개발 과정에서, 평가 스크립트를 통해 신모델의 성능 향상을 확인했으나, 실제 기기 테스트 결과와 큰 괴리가 발생했습니다. 이는 모델이나 데이터 문제가 아닌, '평가하는 방식' 자체에 근본적인 오류가 있었음을 보여줍니다.

핵심 포인트

• 평가는 출하할 최종 결과물 자체에 적용해야 합니다.
• 중간 생성물을 평가하면 잘못된 판단을 내릴 수 있습니다.
• 오답의 방향성(Bias) 변화를 통해 문제점을 발견했습니다.
• 모델 성능 측정 시, 실제 환경과의 괴리를 주의 깊게 분석해야 합니다.