Claude Opus 4.8이 현재 최고의 코딩 (Coding) 모델이라는 점에는 큰 논쟁의 여지가 없을 것이며, 저 역시 오랫동안 직접 사용해 본 결과 그렇게 느꼈습니다.
Cognition (Devin의 회사)이 방금 발표한 FrontierCode 벤치마크 (Benchmark)는 AI 프로그래밍 능력의 평가 기준을 완전히 바꾸어 놓았습니다. 이제 단순히 "코드가 테스트를 통과할 수 있는가"를 보는 것이 아니라, 핵심은 "유지보수자가 이 코드를 실제 프로젝트에 병합 (Merge)하고 싶어 하는가"를 확인합니다.
이전의 벤치마크들은 얼마나 터무니없었을까요? (의문스러운 표정.jpg)
이전에 가장 유명했던 평가는 SWE-Bench였고, TerminalBench 등이 있었습니다.
• 모델이 테스트만 통과시키면 "해결"한 것으로 간주했습니다.
• 하지만 METR_Evals 연구에 따르면: 테스트를 통과한 코드의 절반 이상이 사실은 유지보수가 불가능한 쓰레기 코드 (Slop)였습니다. 스타일이 혼란스럽고, 변경 범위가 통제되지 않으며, 기술 부채 (Technical Debt)를 쌓고, 프로젝트 규범을 위반하는 코드들입니다.
• 실제 유지보수자들은 이를 보고 전혀 병합 (Merge)하지 않습니다.
그 결과는 이렇습니다: 벤치마크 점수는 허위로 높게 나타나지만, 실제 적용할 때는 엉망진창이 됩니다. 말하자면 모델이 진짜 좋은 코드를 쓰는 법을 배우는 것이 아니라, 시험에서 부정행위 하는 법을 배운 셈입니다 🤣
Opus 4.8이 가장 강력하지만, Cognition이 방금 발표한 FrontierCode는 이 결론에 제가 미처 생각하지 못했던 제한 사항을 하나 덧붙였습니다: 최고의 모델이라 할지라도, 타인이 유지보수하고 싶어 하는 코드를 작성하는 것과는 아직 거리가 멀다는 점입니다.
이전의 벤치마크는 테스트 통과 여부만 보았기에, 모델이 배운 것은 코딩이 아니라 점수 올리기였습니다.
조사 결과에 따르면, 테스트를 통과한 PR (Pull Request)의 절반 이상이 사실은 유지보수 불가능한 쓰레기였습니다.
FrontierCode는 완전히 다른 질문 방식을 채택했습니다. 20여 명의 최정상급 오픈 소스 유지보수자들이 150개의 태스크 (Task)를 직접 만들었으며, 각 태스크에는 40시간 이상의 노력이 투입되었습니다.
테스트 통과 여부를 보지 않고, 주로 코드 스타일, 변경 범위, 회귀 위험 (Regression Risk), 테스트 자체를 잘 작성했는지 등을 중점적으로 봅니다. 3,000개 이상의 규칙이 감시하며, 마지막에 단 한 가지만 묻습니다: "당신이 유지보수자라면, 이 PR을 병합하겠습니까?"
Opus 4.8은 가장 어려운 난이도 구간에서 13.4%를 기록했습니다. GPT-5.5는 6.3%이며, 다른 모델들은 대부분 1%에서 5% 사이에 머물렀습니다.
13.4%는 1위이지만, 이 1위는 가장 어려운 유형의 실제 태스크 중에서 10번 중 거의 9번은 그 코드가 경험 많은 유지보수자의 눈을 견디지 못한다는 것을 의미합니다.
이것이 이 벤치마크가 가장 정직한 부분입니다. Opus 4.8이 못한다고 말하는 것이 아니라, 단지 잣대를 바꾼 것입니다.
1위의 성적표도 완전히 다르게 보입니다. 이전의 잣대는 당신이 실행할 수 있는지를 측정했다면, 지금의 잣대는 내가 당신과 함께 일하고 싶은지를 측정합니다. 그리고 이것은 전혀 다른 문제입니다.
