_Originally published at vinpatel.com

이 글을 끝까지 읽으면, 코딩 모델이 다른 사람의 GitHub 기록이 아닌, 실제로 여러분의 코드베이스에서 작동하는지 알려주는 사설 벤치마크를 구축하는 방법을 알게 될 것입니다.

이는 지금 매우 중요한 문제입니다. Specific이라는 회사가 Real-SWE라는 벤치마크를 출시했는데, 이 벤치마크는 다른 리더보드가 스크래핑하는 공개 저장소 대신, 비공개적이고 실제 기업의 코드베이스를 대상으로 AI 모델을 평가합니다. 바로 그 차이가 핵심입니다: 공용 벤치마크에서 최고점을 받은 모델은 종종 해당 저장소, 해당 버그, 해당 풀 리퀘스트를 훈련 과정 중에 이미 접했을 가능성이 높습니다. 여러분의 코드베이스는 인터넷에 올라와 있지 않습니다. 어떤 리더보드에서의 영광도 모델이 한 번도 본 적 없는, 여러분의 패턴으로 작성된, 여러분의 컨벤션을 따르는, 여러분의 테스트 스위트가 건드리는 코드를 상대로 어떻게 성능을 발휘하는지 알려주지 못합니다.

Real-SWE의 접근 방식이 시사하는 절차를 가져와서 여러분 자신의 저장소에 맞게 조정해 보겠습니다:

1. 비공개 코드베이스에서 이미 병합된 실제 풀 리퀘스트 몇 개를 가져옵니다.
2. 각각의 PR을 이슈 설명과 수정 전의 코드 상태만 남도록 정리합니다.
3. 모델에게 오직 그 시작 상태와 이슈만을 제공하고, 다른 것은 아무것도 주지 않습니다.
4. 패치(patch)를 생성하도록 요청한 다음, 실제 테스트 스위트를 적용하여 실행하며 부분 점수는 없습니다.
5. 실험실이 스스로 만든 루브릭에 대비하는 것이 아니라, 여러분 자신의 테스트를 기준으로 통과 또는 실패 여부를 점수화합니다.
6. 모델을 교체하거나 버전을 업그레이드할 때마다 동일한 세트를 재실행하여 비교가 공평하게 이루어지도록 합니다.

오늘 바로 평가 하네스(eval harness)에 붙여넣을 수 있는 시작 프롬프트 템플릿입니다:

CONTEXT: [수정 전의 저장소 상태, 관련 파일만 붙여넣기]
ISSUE: [원본 이슈 설명, 수정하지 않은 그대로 붙여넣기]
TASK: 위의 이슈를 해결하는 패치를 생성하세요.
...

평가하는 모든 모델에 동일한 블록을 실행한 다음, 반환된 diff(차이점)를 대상으로 실제 테스트 스위트를 실행하세요. 이것이 Real-SWE가 구축된 전체 메커니즘이며, 이번 주 자체적으로 시작하기 위해 그들의 인프라가 필요하지 않습니다.

주의할 점: 공개 리더보드에서는 강력해 보이는 모델이라도 여러분의 레포지토리(repo)에서는 조용히 성능이 떨어질 수 있으며, 이는 여러분이 직접 테스트하기 전까지는 알 수 없습니다. 공개 벤치마크 점수는 여러분의 코드베이스를 대변하는 지표가 아닙니다. 자체적인 비공개 세트를 실행하기 전까지는 이를 마케팅 자료로 취급하고 증거로 여기지 마십시오.