리더보드 환상 너머: TFD-Bench를 활용한 자율 소프트웨어 엔지니어링의 다중 턴 에이전트 피드백 루프 벤치마킹

DEV에서 진행된 Kaggle 벤치마킹 챌린지 제출물

저자: Raja Rajak (@rajrajak99)

Kaggle 벤치마크 데이터셋: Gemma 4 TFD Agentic Trajectories

Kaggle 평가 노트북: TFD-Bench on Kaggle

GitHub 저장소: github.com/rajrajak99/gemma4-tfd-agent

⚡ 요약 및 TL;DR

기존 AI 코딩 벤치마크(예: HumanEval, MBPP, 정적 LeetCode 스타일 퍼즐)는 치명적인 사각지대에 놓여 있습니다. 바로 실제 소프트웨어 엔지니어링이 어떻게 이루어지는지를 완전히 무시하고, 단발성 코드 합성만을 테스트한다는 점입니다. 실제 소프트웨어 개발은 단일 프롬프트-응답 거래가 아니며, 상태를 가지고(stateful), 반복적이며(iterative), 가설 기반이고(hypothesis-driven), 테스트 피드백에 의해 통제됩니다.

실시간 저장소 내에 배포된 최첨단 LLM은 우리가 **'단발성 역량의 환상(Illusion of One-Shot Competence)'**이라고 부르는 문제로 어려움을 겪습니다. 이 모델들은 우아하고 구문적으로 깨끗한 코드 패치를 생성하지만, 이는 실제 세계의 회귀 테스트 스위트 중 64.2%에서 실패합니다.

실제로 중요한 것을 측정하기 위해, 우리는 **TFD-Bench (Test-Feedback-Driven Benchmark)**를 설계했습니다. 이 평가 스위트는 SWE-bench Lite에서 각색된 10가지 Python 오류 클래스에 걸친 50개의 다중 턴 디버깅 과제로 구성되어 있습니다. 우리는 5가지 최첨단 모델 구성을 다음 지표들로 벤치마킹했습니다: Pass@1 Resolve Rate, AST Tool Calling Validity, Context Token Consumption, 그리고 Loop Stalling Frequency.

우리의 핵심 발견은 무엇일까요? 폐쇄 루프 테스트 실행 피드백이 거대한 추론 가속기 역할을 한다는 것입니다: 자율적인 테스트 재생성을 코드 생성 이전에 강제함으로써, 이슈 해결률을 29.5%에서 45.6%로 끌어올리고 컨텍스트 토큰 낭비를 49.5% 절감했습니다.

🎯 어떤 태스크를 실행했나요?

1. 정적 코딩 벤치마크의 핵심 문제점

현재 LLM 평가는 종종 단일 턴(single-turn) 벤치마크에 의존합니다. 여기서 LLM은 문서 문자열(docstring)을 받고 자체적으로 완결된 함수를 생성하는 방식입니다. 이는 개발자에게 필수적인 네 가지 능력을 평가하지 못합니다:

1. 코드베이스 탐색 (Codebase Exploration): 모델이 심볼 검색 및 선택적 읽기를 사용하여 다중 파일 리포지토리를 컨텍스트 제한을 초과하지 않고 탐색할 수 있습니까?
2. 결함 재생성 (Defect Reproduction): 모델이 기존 코드를 건드리기 전에, 버그를 독립적으로 확인하는 최소한의 격리된 테스트 스크립트를 합성할 수 있습니까? (exit_code != 0)
3. 외과적 패치 적용 (Surgical Patching): 모델이 전체 파일을 다시 작성하기보다는 목표 지점을 겨냥한 라인 교체를 적용할 수 있습니까?
4. 자동 검증 (Automated Verification): 모델이 자체 생성한 재생성 코드를 실행하고, 터미널 트레이스백을 구문 분석하며, 테스트가 실패하면 스스로 수정할 수 있습니까?

2. TFD-Bench 프로토콜

TFD-Bench는 엄격한 5단계 폐쇄 루프 사이클에 걸쳐 모델을 테스트합니다:

• 1단계: 발견 (Discovery): search_code와 view_file을 통한 코드베이스 위치 파악.
• 2단계: 테스트 우선 (Test-First): 사전 수정 실패(exit_code != 0)를 단언하는 최소한의 독립형 재생성 스크립트 합성 (create_reproducer).
• 3단계: 추론 및 복구 (Reasoning & Repair): 최소 라인 변경을 목표로 하는 외과적 패치 생성 (edit_file_replace).
• 4단계: 검증 (Verification): 재생성 코드를 재실행하여 해결됨(exit_code == 0)을 단언하는 샌드박스 실행.
• 5단계: 자체 수정 루프 (Self-Correction Loop): 검증 실패 시, 트레이스백 구문 분석 및 자동 재시도 (최대 3 사이클).

데이터셋은 10가지 Python 버그 카테고리(클래스당 5개 큐레이션된 태스크)에 걸쳐 균등하게 분포된 50개의 골드 스탠다드, 레포지토리 등급 태스크를 포함합니다:

🤖 어떤 모델들을 대상으로 테스트했나요?

오픈 모델과 클로즈드 모델, 그리고 전문적인 파인튜닝의 영향을 엄격하게 평가하기 위해, 우리는 서로 다른 규모와 패러다임을 가진 5개의 대표 모델을 평가했습니다:

1. TFD-Agent Google Gemma 4 31B + QLoRA: Test-Feedback-Driven 프로토콜에 맞춰 모든 선형 투영 레이어(q, k, v, o, gate, up, down_proj)를 타겟팅하여 4비트 QLoRA로 파인튜닝된 Google의 Gemma 4 31B.
2. Google Gemma 4 31B (표준 ReAct): TFD 조건화 없이 순수한 ReAct 프롬프트 루프에 배포된 동일한 기본 가중치(base weights)를 가진 Gemma 4 31B.
3. Meta Llama 3.1 70B Instruct (SWE-agent Framework): 확립된 Princeton SWE-agent bash 인터페이스를 통해 평가된 최첨단 오픈 웨이트 제너럴리스트 모델.
4. Qwen 2.5 Coder 32B Instruct (ReAct): 높은 HumanEval 점수로 알려진 최신 코드 전문화 오픈 모델.
5. OpenAI GPT-4o mini (ReAct Baseline): 상업용 API 에이전트 백엔드를 대표하는 독점적인 최첨단 경량 모델.

💡 주요 통찰력은 무엇인가요?

1. 벤치마크 리더보드

2. 발견 #1:

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

• 실패한 시도 중 64.2%에서, 바닐라 모델(vanilla models)이 생성한 패치는 인간 검토자에게는 한눈에 완전히 정확해 보였지만, 제로 길이 입력 처리에 실패하거나, 이차적인 예외를 발생시키거나, 다운스트림 호출 함수를 망가뜨리는 경우가 있었습니다.
• 모델에게 먼저 재현 코드(reproducer)를 작성하게 하고(assert func(...) == ...) 이것이 exit_code != 0으로 실패하는 것을 확인하도록 강제하자, 에이전트는 실행 현실에 근거하여 추론합니다. 이 단일 절차적 제약 조건만으로도 전반적인 해결률을 +16.1 퍼센트포인트 끌어올렸습니다.

3. 발견 #2: 턴 드리프트(Turn Drift) 하에서의 AST 도구 구문 붕괴

가장 놀라웠던 발견 중 하나는 다중 턴 대화에 걸쳐 도구 호출 품질이 어떻게 저하되는지였습니다:

• 1턴부터 4턴까지, 모델들은 약 92%의 유효한 JSON 도구 호출을 달성했습니다.
• 7턴 이후에는, 바닐라 모델들이 도구 구문 오류에서 3.8배 급증하는 현상을 보였습니다 (잘못된 JSON 문자열, 후행 쉼표, file_path 대신 path와 같은 환각된 도구 매개변수 등).
• 오류가 발생하면, 바닐라 모델들은 종종 **'환각 연쇄(hallucination cascades)'**에 빠져 유효하지 않은 도구 인수를 무한히 반복합니다.
• 턴 단위 감독 학습(turn-level supervision)을 통한 미세 조정(TFD-Agent)은 도구 유효성을 96.9% 이상으로 유지하여, 치명적인 루프 정지(18.2%에서 2.1%로 하락)를 제거했습니다.

4. 발견 #3: 테스트 피드백을 이용한 추론 및 토큰 압축 엔진

많은 개발자들은 자동화된 테스트 실행이 추론 비용을 증가시킨다고 가정합니다. 하지만 우리의 벤치마크는 정반대임을 입증했습니다:

• 표준 ReAct 루프: 해결된 작업당 38,400 토큰 (모델이 파일을 무작위로 검색하고 임의의 변형을 시도하며 방황함).
• TFD-Agent 폐쇄 루프(Closed Loop): 해결된 작업당 19,400 토큰 (49.5% 컨텍스트 감소).
• 이유는 무엇일까요? exit_code: 1과 라인 번호가 포함된 구체적인 트레이스백(traceback)은 의미론적 앵커(semantic anchor) 역할을 합니다. 모델은 오류가 어디에 있는지 추측할 필요가 없습니다. 파이썬 런타임이 직접 알려주어 불필요한 탐색 경로를 가지치기합니다.

5. 발견 #4: 에이전트 루프에서 미세 조정이 규모(Scale)를 능가하다

TFD-Agent (31B)가 파라미터 수가 절반 이하임에도 불구하고 Llama 3.1 70B(45.6% 대 42.4%)를 능가했다는 점에 주목하십시오:

• 일반 목적의 70B 모델은 우수한 세계 지식을 가지고 있지만, _Locate -> Reproduce -> Surgical Edit -> Verify_라는 엄격한 프로토콜을 준수하도록 조건화되어 있지 않습니다.
• 31B 모델이 최종 출력을 정답 피드백으로 처리하도록 정렬될 때, 소비자/엣지 워크스테이션에서 최첨단 소프트웨어 엔지니어링 역량을 달성합니다.

🔍 사례 연구: 자율 수정의 해부학적 분석

작업 tfd_zerodivisionerror_1에서 루프의 강력함을 보여주는 실제 예시입니다:

단계 1: 결함 위치 파악

json
{"tool": "search_code", "arguments": {"query": "def calculate_precision_recall"}}