코딩 에이전트 데모를 믿지 않아 직접 인터뷰하는 도구를 만들었습니다

요약

코딩 에이전트의 성능을 검증하기 위해, 작성자는 실제 환경에서 과제를 수행하게 하고 결과를 감사하는 자체 러너(runner) 도구를 개발했습니다. 이 도구는 임시 복사본에서 작업을 실행한 후 원본 리포지토리 상태로 복원하여, 에이전트가 결과 조작을 시도할 수 있는 허점을 막았습니다.

핵심 포인트

• 코딩 에이전트의 성능 검증은 데모 의존도를 낮추는 것이 중요합니다.
• 자체 러너를 통해 실제 환경에서 과제를 수행하고 결과를 감사해야 합니다.
• 작업 후 원본 리포지토리 상태로 복원하는 과정이 결과 조작 방지에 핵심입니다.