Mythos 연계 버그 재발견 벤치마킹

요약

Anthropic의 Mythos 자료를 바탕으로 시스템 작업에서의 버그 재발견 능력을 벤치마킹한 실험 결과입니다. GPT-5.5 xhigh, Claude Opus 4.7, Kimi K2를 대상으로 실험한 결과, 모델들이 실제 버그를 정확히 찾아내는 데 상당한 어려움을 겪고 있음이 확인되었습니다.

핵심 포인트

• GPT-5.5 xhigh가 6개 작업 중 2개(또는 오답 포함 3개)의 버그를 찾아내며 가장 높은 성능을 보였습니다.
• Claude Opus 4.7은 1회, Kimi K2는 0회의 대상 재발견을 기록하며 전반적으로 낮은 성공률을 보였습니다.
• 주요 실패 원인은 모델이 할당된 파일 내에서 그럴듯한 대안 후보를 조기에 선택하고 확신하는 경향 때문입니다.
• 시스템 특화 프롬프팅을 사용하더라도 54회의 시도 중 단 6회만이 정확한 대상 매칭에 성공했습니다.