OpenAI는 2026년 7월 8일, “Separating signal from noise in coding evaluations”를 발표하며 SWE-Bench Pro의 신뢰성 문제를 설명했습니다. 이 초보자용 레슨은 단일 리더보드보다 더 큰 의미를 갖습니다. 점수는 작업(tasks), 채점(grading), 그리고 발생 가능한 학습 중복(training overlap)이 이해되었을 때에만 의미가 있습니다.

작은 로컬 실습을 통해 기본 개념을 배울 수 있습니다. train.txt에 개발 중에 본 파일 이름이나 이슈 문구가 포함되어 있고, eval.txt에 벤치마크 프롬프트(prompts)가 포함되어 있다고 가정해 봅시다.

from pathlib import Path
import re

...

다음 피스처(fixtures)를 시도해 보세요:

# train.txt
fix websocket reconnect timer in stream_client
normalize windows path in cache loader
...

첫 번째 줄에서 훨씬 더 많은 어휘적 중복(lexical overlap)이 나타날 것입니다. 이것이 오염(contamination)을 증명하는 것은 아닙. 이는 단지 인간의 검토를 위한 신호(flag)일 뿐입니다. 실제 조사를 위해서는 데이터셋의 출처(provenance), 타임스탬프(timestamps), 중복 제거 방법(deduplication methods), 리포지토리(repository) 이력, 그리고 중복이 정답을 드러내는지에 대한 분석이 필요합니다.

4부 구성의 벤치마크 참고 사항

코딩 점수를 인용할 때는 항상 다음 사항을 기록하십시오:

• 정확한 벤치마크 버전 및 분할(split);
• 모델 및 도구 설정(configuration);
• 채점 방법(grading method) 및 알려진 제외 사항(exclusions);
• 중복 검사(overlap checks) 및 해결되지 않은 한계점.

저는 코딩 제품을 평가할 때도 동일한 원칙을 적용합니다. 저는 MonkeyCode를 사용하지만, 단순히 벤더(vendor)의 점수만 보고 추천하지는 않습니다. 본인의 리포지토리에서 버전이 지정된 몇 가지 작업을 시도해 보고, 프롬프트 옆에 예상 테스트를 유지해 볼 것을 권장합니다. 오픈 소스 옵션은 주변 워크플로우(workflow)를 조사하거나 셀프 호스팅(self-host)하고 싶을 때 유용하며, 호스팅된 SaaS는 해당 스택을 운영하지 않고 바로 시작하고 싶을 때 유용합니다.

이것은 워크플로우에 대한 권장 사항이며, 특정 모델이 보편적으로 최고라고 측정했다는 주장이 아닙니다.

공개 사항: 저는 MonkeyCode 사용자로서 저의 경험을 공유하는 것이며, 해당 프로젝트와 관련이 없습니다.

주요 학습 결과는 간단합니다. 리더보드 (leaderboards)는 실험의 입력값입니다. 리더보드는 당신의 코드, 제약 조건, 그리고 올바른 변경 사항에 대한 정의를 나타내는 테스트 세트 (test set)를 대체할 수 없습니다.