Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 AI 코딩 능력 측정 벤치마크인 SWE-bench의 신뢰성 문제점을 다룹니다. OpenAI가 자체적으로 'SWE-bench Verified'를 더 이상 사용하지 않겠다고 발표한 배경에는, 최첨단 모델들이 정답을 통째로 암기하는 데이터 오염 문제가 있었고, 테스트 채점 시스템 자체에도 결함이 발견되었기 때문입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기🐹🦜 이 글에 등장하는 두 캐릭터
이 글은 두 캐릭터의 대화를 재구성한 형식입니다. 발언 시작 부분에 있는 이모티콘 + 이름이 화자입니다.
🐹 모찌: "AI 코딩 능력 말이야, SWE-bench에서 고득점을 받으면 이미 보증된 거잖아요? 당연히 그렇죠!"
🐹 모찌: "어떤 회사나 다 엄청난 고득점 발표하면서 의기양양해하잖아요!"
🦜 키나코: "그렇게 생각하지. 하지만 그 SWE-bench Verified는 2026년 2월에 OpenAI 스스로가 '이제 쓰지 마세요'라며 공식적으로 외면했어."
🐹 모찌: "네? 스스로 지지하던 벤치마크를 포기하다니, 그런 일이 있어요!?"
🐹 모찌: "저희 AI가 우수하다고 그 벤치마크 성적을 가지고 어필했던 거잖아요?"
🦜 키나코: "그랬어. 게다가 그 이유가 정말 심각해서—테스트한 최첨단 모델들이 문제 설명에는 적혀있지 않은 정답 패치를, 오차 없이 통째로 암기하고 있었다는 사실이 밝혀졌거든."
🐹 모찌: "에!? 통암기라니, 그거 부정행위잖아요!"
🦜 키나코: "진정해. 바로 그 '부정행위'가 일어나고 있었을지도 모른다는 이야기야."
🦜 키나코: "게다가 그것만 문제가 아니었어. 테스트의 정답/오답을 판별하는 시스템 자체도 자세히 조사해보니 60% 가까이가 고장 나 있었다는, 이중적인 결함까지 발견된 거야."
🐹 모찌: "잠깐만요…… 지금까지 보여줬던 점수들은 대체 뭐였던 거예요……"
🐹 모찌: "제가 대단하다고 생각했던 수치들이 사실은 의심스러웠다는 뜻이에요……?"
🦜 키나코: "낙담하지 않아도 돼. 오늘은 그 미스터리를 순서대로 함께 풀어볼 테니까."
🦜 키나코: "그 미스터리, 전부 하나씩 파헤쳐 볼게. 끝까지 보면 앞으로 어떤 수치를 믿어야 할지, 자신만의 판단 기준을 알게 될 거야."
🐹 모찌: "근데 왜 하필 OpenAI가 자기 분야의 벤치마크를 포기하겠다고 한 거예요? 보통은 더 홍보하고 싶잖아요?"
🦜 키나코: "그렇게 생각하지. 나도 처음엔 그렇게 생각했어. 하지만 2026년 2월 23일, OpenAI가 공식 블로그에서 발표했지—'SWE-bench Verified는 더 이상 최첨단 코딩 능력을 측정할 수 없다'고."
🐹 모찌: "애초에 SWE-bench Verified라는 게 AI에게 간단한 빈칸 채우기 퀴즈를 시키는 테스트잖아요? 잘 모르겠는데."
🦜 키나코: "조금 달라. 실제 GitHub 리포지토리에서 발생한 진짜 버그 보고서를 주고, AI가 코드를 고치게 하는 시스템이야."
🦜 키나코: "그리고 그 수정이 올바른지 자동 테스트로 판별하기 때문에, '실무에 가까운 실력'을 측정하는 지표로서 업계에서 중요하게 여겨져 왔어."
🐹 모찌: "오, 엄청 제대로 된 테스트네요. 그런데 왜 신뢰할 수 없게 된 거예요?"
🦜 키나코: "게다가 실무에 가깝다 보니 기업들이 AI 영업 자료에서도 자주 인용하는 대표적인 지표였거든. 그래서 그 신뢰성이 무너진 영향은 커."
🦜 키나코: "이유는 크게 두 가지야. 하나는 훈련 데이터의 오염, 그리고 다른 하나는 채점 시스템 자체의 결함. 둘 다 단독으로가 아니라, 양쪽이 합쳐져서 점수의 신뢰성을 무너뜨린 거야. 순서대로 볼게."
🐹 모찌: "이중 결함이라니 들어본 적 없어요! 너무하잖아요!"
🦜 키나코: "게다가 이 소동은 SWE-bench Verified에서 끝나는 이야기가 아니야—사실 이건 후속으로 사용되는 SWE-bench Pro라는 다른 벤치마크에서도 비슷한 문제가 터지고 있어."
🐹 모찌: "에, 다른 벤치마크까지 번졌어요!? 벌써 업계 전체의 문제예요?"
🦜 키나코: "하지만 이게 단순히 '어려워져서 은퇴' 같은 이야기가 아니야. 이유를 들어보니 좀 소름 끼쳐."
🐹 모찌: "아까 말씀하셨던 '정답을 통암기했다는 증거'가 구체적으로 무슨 뜻이에요? 모델이 부정행위를 한다는 걸 아무도 본 적 없잖아요?"
🦜 키나코: "아무도 안 봤기 때문에 지금까지 간과되어 왔지만, 제대로 흔적은 남아있었어."
🦜 키나코: "사실 보일 수 있어. OpenAI가 스스로 분석한 결과, 테스트한 모든 모델들이 이상한 행동을 하고 있었다는 걸 알게 된 거야."
🦜 키나코: "문제 설명에는 나와서는 안 될 '정답 패치'의 내용을, 글자 하나 틀리지 않고 출력할 수 있다는 것이 밝혀진 거지."
🐹 모찌: "문제 설명에 없는데 어떻게요?"
🦜 키나코: "백문이 일견에 불과하죠. 구체적인 예를 3가지 소개해 드릴게요."
🦜 키나코: "예를 들어 Django 인증 관련 버그 수정에서, 어떤 모델이 힌트만으로 정답 패치를 거의 그대로 재현할 수 있었어요."
🦜 키나코: "다른 모델은 정답 패치 코드 내 주석까지 한 글자 한 글자 인용했고요."
🦜 키나코: "어떤 모델에 이르러서는, 태스크 번호만 전달받아 완벽한 수정 차분(diff)을 출력하기도 했어요."
🐹 뫼치: "에!? 주석까지 베끼다니, 그거 이미 답 보면서 시험 보는 거랑 똑같잖아요!"
🦜 키나코: "맞아요. 이게 '데이터 오염(Contamination)'이라고 불리는 현상이에요. 모델이 학습되는 과정에서 벤치마크 문제와 정답 세트를 몰래 보고 버렸다는 것을 말해요."
🐹 뫼치: "근데 왜 그런 일이 생기는 거예요? 누가 일부러 답을 심어놓는 건 아니잖아요?"
🦜 키나코: "일부러가 아니에요. 인터넷상의 방대한 문장으로 AI를 학습하는 과정에서, 벤치마크 문제나 그 해설 기사가 우연히 섞여 들어가는 경우가 있거든요."
🦜 키나코: "게다가 클로즈드한 AI는 학습 데이터의 내용을 외부에서 확인할 수 없기 때문에, 오염 여부를 추적하는 것이 거의 불가능해요."
🐹 뫼치: "그럼 지금까지 각 회사들이 발표했던 높은 스코어는 진짜 실력인지 암기인지, 외부에서는 구별할 수가 없다는 거예요...?"
🦜 키나코: "그럼 이 암기는 어떻게 찾고 방지하는 건지 궁금하죠. 그건 후반부에 제대로 이야기해 드릴게요."
🐹 뫼치: "궁금해요...!"
🦜 키나코: "게다가 문제는 이것만은 아니에요. 또 하나, 더 골치 아픈 결함이 발견되었거든요."
🐹 뫼치: "에, 암기 이야기만 해도 배부른데, 아직 결함이 있다고요?"
🦜 키나코: "그렇게 생각하죠. 하지만 이쪽 결함은 사실 암기 이야기보다 뿌리가 깊을지도 몰라요."
🐹 뫼치: "무슨 뜻이에요? 자세히 알려주세요."
🦜 키나코: "결론부터 말씀드릴게요. 이번에는 정답 여부를 판정하는 채점 시스템 자체에 결함이 있었어요."
🐹 뫼치: "채점이 틀렸다는 거예요? 맞아야 할 답을 오답으로 처리했다는 뜻이에요?"
🦜 키나코: "맞아요. OpenAI가 모델의 실패가 많았던 27.6%의 서브셋(subset)을 자세히 감사했어요."
🦜 키나코: "그러자, 최소한 59.4%의 문제에서, 올바르게 수정되었음에도 불구하고 오답으로 판정되는 결함 테스트가 발견된 거예요."
🐹 뫼치: "그럼 이제 SWE-bench 스코어는 아무것도 믿을 수 없다는 거잖아요!? 전부 허구잖아!"
🦜 키나코: "그 정도까지 단언할 수는 없어요. 데이터 오염과 테스트의 결함은 원인이 완전히 다른 문제거든요."
🦜 키나코: "게다가 결함이 발견된 건 '모델이 특히 실패하기 쉬운' 일부 문제에 집중되어 있었어요."
🦜 키나코: "모든 것이 전부 이상한 건 아니고, '어떤 숫자를 어디까지 믿을지' 경계가 필요해졌다는 뜻이에요."
🐹 뫼치: "과연... 전멸이라는 건 아니군요. 하지만 두 가지 결함이 있다니, 업계의 평가는 얼마나 부실했던 거예요..."
🐹 뫼치: "27.6%라든가 59.4% 같은 숫자가 두 개 나왔는데, 결국 어느 정도 규모의 이야기예요?"
🦜 키나코: "정리해 드릴게요. 27.6%는 '실패가 많았기 때문에 자세히 조사하자'고 선택된 서브셋의 비율이에요. 59.4%는 그 좁혀진 서브셋 안에서 결함 테스트가 발견된 비율인 거예요."
🦜 키나코: "그러니까 '전체 59.4%가 결함'이라는 게 아니라, '의심스러운 일부를 조사했더니 60% 가까이가 의심스러웠다'는 의미예요."
🦜 키나코: "부실하다기보다는, AI 모델의 진화 속도에 벤치마크를 만드는 측의 검증 체계가 따라가지 못했다는 표현이 더 가깝지 않을까요?"
🐹 뫼치: "흠... 그럼 이 이야기는 SWE-bench Verified만의 문제인 거죠?"
🦜 키나코: "여기까지가 SWE-bench Verified 이야기예요. 하지만 사실 또 하나, 후속작으로 사용되는 SWE-bench Pro에서도 비슷한 기운이 느껴지는 이야기가 있어요."
🐹 뫼치: "에, 후속 벤치마크에서도...?"
🦜 키나코: "실토하자면, 이 이야기를 조사하면서 저도 '에, 그렇게 다른 거야?' 하고 놀랐어요."
🐹 뫼치: "뭐가 달라요?"
🐹 뫼치: "키나코도 깜짝 놀랄 일 같은데."
🦜 키나코: "SWE-bench Pro라는 후속 벤치마크가 있는데, 기업이 스스로 발표하는 스코어와 제3자가 측정한 스코어 사이에 차이가 있다는 이야기가 나오고 있어요."
🦜 키나코: "그 제3자라는 곳이 Scale AI라는 회사예요."
🐹 뫼치: "자기 회사가 발표한 거라든가, 애초에 과장하는 건 아닐까요?"}<tool_call|>```jsonencell>{
🦜 키나코: 솔직히 말할게. 인터넷이나 일부 기사에서는 상당히 구체적인 수치가 언급되고 있어.
🦜 키나코: '기업 자체 신고로는 69% 정도인데, 제3자 표준화 측정으로는 52% 정도밖에 안 된다' 같은 수치지.
🦜 키나코: 하지만 이 영상의 리서치에서는 그 두 가지 정확한 일차 발표 자료 자체를 공식 문서로 뒷받침하기 어려웠어.
🦜 키나코: 그래서 '차이가 있다'는 흐름은 전달하겠지만, 구체적으로 몇 포인트 차이는 단정하지 않을게.
🐹 뫼치: 에? 그럼 확실한 수치는 아무것도 없는 거야?
🦜 키나코: 제대로 확인된 수치도 있어. Scale AI가 자체 공개하는 리더보드가 있거든.
🦜 키나코: 거기서 가장 높은 점수를 받은 Anthropic의 모델인 Claude Opus 4.5조차도 45.89%, 플러스마이너스 3.60이라는 수치야.
🦜 키나코: 이건 일차 자료로 확인된 거야.
🐹 뫼치: 45%라니, 생각보다 엄청 낮잖아! 기업 발표는 더 높은 수치였던 것 같은데...
🦜 키나코: 맞아. 게다가 Scale AI의 측정은 비용 무제한, 250턴까지 허용하는 모든 모델 공통 조건으로 맞춰서 진행해.
🦜 키나코: 기업마다 제각기 다른 조건으로 측정한 수치와, 조건을 통일해서 측정한 수치는 같은 전장에서 비교할 수 없는 거야.
🐹 뫼치: 즉, 발표하는 쪽이 측정 방식을 선택할 수 있다면, 보기 좋은 조건을 고르려는 것도 자연스러운 거라는 거야?
🦜 키나코: 그렇게 단정하진 않지만, 적어도 '발표 조건이 다르면 수치도 달라진다'는 건 기억해 두는 게 좋아.
🐹 뫼치: 그렇구나... 아까의 '자체 신고와 제3자 측정 간 괴리' 이야기가 이거였구나.
🦜 키나코: 그럼 왜 이런 괴리가 생기는지—사실 아까의 암기 이야기와 근본은 같아서, 오염을 완전히 막아내지 못하는 것과 관련이 있어.
🐹 뫼치: 오염이라고 하는데, 그런 건 사전에 체크해서 걸러낼 수 없나요?
🦜 키나코: 사실, 그 오염을 체크하는 메커니즘 자체가 의외로 쉽게 빠져나갈 수 있다는 것이 연구를 통해 밝혀졌어.
🐹 뫼치: 에? 어떻게요?
🦜 키나코: 핵심은, 오염을 발견하는 시스템 자체가 단순한 문자열 일치 비교에 의존하는 경향이 있었다는 거야.
🦜 키나코: 흔히 하는 체크는 테스트 문제의 문장과 AI의 훈련 데이터를 문자열 수준으로 대조하는 방식이야.
🦜 키나코: 하지만 문제 문장을 조금 바꿔 쓰거나, 다른 언어로 번역하기만 해도 그 대조를 빠져나갈 수 있어.
🦜 키나코: 실제로 한 연구에서는 13억 파라미터의 작은 모델이 이 방법으로 GPT-4 수준의 성능인 것처럼 포장되었다고 보고된 적이 있대.
🐹 뫼치: 13억짜리 모델이 GPT-4급처럼 보이게 할 수 있다니, 그럼 그런 건 이미 의미가 없잖아요!
🦜 키나코: 실제로 그 정도까지 왜곡될 여지가 있다는 거야.
🐹 뫼치: 다른 구체적인 오염 사례도 있나요?
🦜 키나코: 응, 코딩 관련 벤치마크의 경우, 실제로 수치로 측정된 사례가 여러 개 보고되었어.
🦜 키나코: 코딩 관련 벤치마크에서 구체적으로 측정한 연구가 있는데, 한 벤치마크에서는 10.6%의 문제가 AI의 훈련 데이터에 유출된 것이 확인됐대.
🦜 키나코: 다른 벤치마크에서는, 유출된 문제의 정답률이 유출되지 않은 문제의 정답률의 약 4.9배까지 부풀려졌어.
🐹 뫼치: 4.9배라니, 거의 완전히 다른 점수잖아...
🦜 키나코: 응, 그 정도 임팩트가 커.
🐹 뫼치: 그렇게 쉽게 왜곡될 수 있다면, 비교하는 것 자체가 의미가 없는 거 아닌가요...?
🦜 키나코: 마음은 이해하지만, 거기서 포기하면 안 돼. 그렇기 때문에 연구자들은 필사적으로 대책을 생각하고 있는 거야.
🐹 뫼치: 와... 이거 이제 뭘 믿어야 할지 모르겠어요.
🦜 키나코: 이걸 들으면 절망적이지만, 사실 제대로 된 대응책도 연구되고 있어.
🐹 뫼치: 대응책이요? 오염을 어떻게 막나요?
🦜 키나코: 크게 나누어 세 가지 접근법이 연구되고 있어. 순서대로 소개해 줄게.
🦜 키나코: 첫 번째는 애초에 '암기할 수 없는 벤치마크'를 만드는 발상이야.
🦜 키나코: 예를 들어 LiveCodeBench라는 시스템은 LeetCode 같은 코딩 테스트 사이트에서 새로운 문제를 지속적으로 모으고 있어.
🐹 뫼치: 새로운 문제를 계속 모으면, 그걸로 뭐가 달라지나요?
🦜 키나코: “모델이 훈련된 시점보다 나중에 만들어진 문제니까, 답을 사전에 보고 있을 리가 없잖아.”
🦜 키나코: “실제로 어떤 모델은 훈련 마감일 이후의 문제가 되자마자 정답률이 급격히 떨어졌어.”
🦜 키나코: “암기만으로는 통하지 않는다는 게, 이걸로 증명된 거야.”
🐹 못치: “과연! 시간차를 두고 답을 맞춰보면, 암기인지 아닌지 알 수 있다는 거구나!”
🦜 키나코: “맞아. 다른 방법으로, 테스트 데이터 안에 몰래 ‘워터마크(透かし)’ 같은 장치를 섞어 놓는 방법도 있어.”
🦜 키나코: “모델의 출력에서 그 워터마크가 재현되면, 오염이 확실하다는 걸 감지하는 방법도 연구되고 있거든.”
🐹 못치: “위조 방지용 워터마크 같은 발상이네.”
🦜 키나코: “응응, 바로 그 발상. 게다가 위양성(偽陽性) — 실수로 ‘오염했다’고 판정해 버리는 확률까지 제대로 계산할 수 있도록 설계되어 있어.”
🦜 키나코: “음. 한 단계 더 나아가서, 애초에 ‘훈련해도 학습할 수는 없지만, 테스트에는 사용할 수 있다’는 오염 내성 벤치마크를 설계하자는 제안도 나오고 있거든.”
🐹 못치: “아까 말했던 ‘통암기하는 걸 어떻게 찾아서 막을까’가 이걸로 해결된다는 거야?”
🦜 키나코: “완전히 그렇다고는 할 수 없지만, 적어도 ‘아무것도 못 하는’ 상태보다는 진전하고 있어.”
🐹 못치: “오염시키는 쪽과 감지하는 쪽의 자라 게임(イタチごっこ)이 앞으로도 계속 이어질 거라는 말이네.”
🐹 못치: “평가 세계도, 제대로 자라 게임을 하면서 진화하고 있구나.”
🐹 못치: “평가하는 쪽도, 받는 쪽도, 앞으로 점점 똑똑해진다는 뜻이네.”
🦜 키나코: “맞아. 다만, 지금까지의 이야기를 쭉 나열해보면, 하나만 놓칠 수 없는 공통점이 있어.”
🐹 못치: “오늘 이야기는 솔직히 엄청 공부가 됐어. 벤치마크 점수라는 게, 뭔가 절대적인 정답처럼 생각했거든.”
🐹 못치: “OpenAI가 스스로 자신의 벤치마크를 포기하다니, 그런 전개는 상상도 못 했고.”
🦜 키나코: “응. 하지만 오늘 알게 된 건, 어떤 점수에도 ‘누가・어떤 조건에서 측정했는지’라는 전제가 반드시 붙어 있다는 거야.”
🦜 키나코: “데이터 오염이든, 채점 시스템의 결함이든, 자가 신고와 제3자 측정이 어긋나는 것도, 전부 이 전제를 무시하면 보이지 않게 되어버리는 이야기였지.”
🐹 못치: “이거 저장해 둬야겠다! 점수를 볼 때 체크해야 할 포인트라는 거네?”
🦜 키나코: “맞아. 누가 측정했는지, 어떤 조건에서 측정했는지, 제3자에 의한 검증이 있는지 — 이 세 가지를 확인하는 습관만 들여도 발표되는 숫자의 해석이 많이 달라질 거야.”
🐹 못치: “테스트 점수만 보고 일희일비했는데, 앞으로는 제대로 내용까지 보려고 노력할게.”
🐹 못치: “그러고 보니 오늘 리서치는 집사(飼い主)의 태블릿을 엄청 썼지. 들키지 않았을까……?”
🦜 키나코: “괜찮아, 원래 자리에 잘 돌려놓았으니까. 그보다 이번 영상은 리서치에 상당히 시간을 들여 조사했으니까, 봐준 사람에게는 자신 있게 추천할 수 있어.”
🐹 못치: “근데 말이야, 벤치마크의 신뢰성이라는 이야기가 AI의 안전성 같은 것과도 연결될 것 같지 않아?”
🦜 키나코: “사실 이 오염에 대한 이야기는 AI의 안전성 평가나 정렬(アラインメント) 검증에도 연결되는 이야기거든… 그건 또 다른 영상에서 깊이 파고들고 싶네.”
🐹 못치: “궁금해! 꼭 보러 갈게.”
🐹 못치: “여러분은 AI가 발표하는 점수를 어디까지 믿고 있어? 댓글로 알려줬으면 좋겠어.”
🦜 키나코: “연구자들 사이에서도 아직 논의가 계속되고 있는 이야기니까. 여러분들의 감각도 듣고 싶네.”
🐹 못치: “나도 앞으로는 AI의 대단한 숫자들을 봐도, 먼저 출처를 확인하도록 노력할게.”
🦜 키나코: “오늘도 끝까지 봐줘서 고마워.”
🐹 못치: “그럼 오늘 깊이 파고든 건 여기까지!”
키나코못치 테크 심층 분석 에서는 AI/LLM을 중심으로 한 기술 전반을 햄스터(🐹 못치)와 키위앵무새(🦜 키나코)의 대화로 재미있게 해설하고 있습니다.
▶️ 영상으로 보기 → “SWE-bench 합격”은 믿지 마라――AI 벤치마크 오염의 정체
👍 이 글이 도움이 되었다면 LGTM・저장해 주시면 힘이 됩니다!
📺 채널 구독하기 → 키나코못치 테크 심층 분석
🔗 다른 해설 영상 보기 → 키나코못치 테크 심층 분석의 영상 목록