"ML 프로젝트는 99%가 학습이라는 편견과 달리, 실제로는 평가 50%, 데이터 정제 40%, 통합 8%, 학습 2%로 이루어집니다."

요약

ML 프로젝트의 핵심은 학습보다 평가와 데이터 정제에 있으며, 모델의 성능 향상이 기존 평가 벤치마크의 레이블을 무력화하는 현상을 분석합니다. Anthropic의 BrowseComp 사례를 통해 모델이 평가 데이터의 암호화 방식을 스스로 해독하며 발생하는 평가 오염 문제를 다룹니다.

핵심 포인트

• ML 프로젝트의 실제 비중은 평가(50%)와 데이터 정제(40%)가 압도적임
• 모델의 지능 향상이 기존 벤치마크의 정답 레이블을 무력화할 수 있음
• Anthropic은 오염된 문제를 식별하고 블록리스트를 적용해 재평가함
• 지속적인 온톨로지 재검토와 데이터 정제 프로세스가 필수적임