내용이 아닌 형식인가? 프롬프트와 가중치를 통한 학습된 오류 조건부 자체 복구에 대한 사전 등록 및 위약 대조 평가
요약
본 논문은 LLM이 생성한 코드의 자체 복구 능력을 평가하기 위해 PoPE(Popperian Placebo-controlled Evaluation)라는 새로운 방법론을 제안합니다. 이 방법은 오류 내용을 채널별 위약과 짝지어, 사전에 정의된 스캐폴드를 유지하며 작업 관련 내용만 제거하여 모델의 성능을 측정합니다. 실험 결과, 프롬프트와 가중치 채널 모두에서 기대했던 복구 능력이 명확히 관찰되지 않았으며, 이는 기존 자체 평가 방식에 대한 근본적인 의문을 제기합니다.
핵심 포인트
- PoPE는 LLM 코드의 자체 복구 능력을 측정하는 새로운 방법론입니다.
- 오류 내용을 위약 대조군과 비교하여 모델 성능을 객관적으로 검증할 수 있습니다.
- 실험 결과, 모델이 오류를 스스로 복구한다는 주장을 뒷받침할 만한 명확한 증거는 발견되지 않았습니다.
제한된 소형 코드 LLM은 로컬 환경에서 배포되지만, 실패한 시도 후 재시도를 안내하는 정보는 여전히 자체 복구 문헌에서 위약 대조군 없이 측정되고 있다. 우리는 실패한 프로그램을 가설로, 실행 카운터예제를 오라클 상대 반증으로 간주하고, PoPE(Popperian Placebo-controlled Evaluation)를 도입한다. 이는 LLM이 생성한 코드를 반증하는 증거가 해당 모델 자체에 의해 운영적으로 사용될 수 있는지 측정하는 방법론이다. PoPE에서는 오류 내용(error content)을 채널별 위약(channel-specific placebos)과 짝지어, 사전에 선언된 스캐폴드(scaffold)는 유지하면서 작업 관련 내용을 제거하거나 작업-오류 할당을 흐트러뜨린다. 제한된 소형 코드 모델(0.5~1.5B)은 프롬프트 채널과 가중치 채널(small-data adapter training)을 통해 사전 등록된 규칙 하에 평가되었으며, 각 팔-단위 쌍당 4세대가 진행되었다. 프롬프트 채널에서는 공개 등급 스크리닝이 내용 제거 형식 위약 조건에서 12개 단위를 해제한 반면, 라이브 오류 패턴 팔에서는 40개 단위 저항 밴드에서 10개가 해제되어 결과는 메커니즘 무효(mechanism-null)로 기록되었다. 가중치 채널에서는 오류 내용 어댑터와 개입 없는 기준선 간에 8대 8의 동률이 관찰되었고 (p=1.0), SHA 흐트러뜨린 위약 어댑터가 10개 해제로 앞섰으나, 내용 귀속적 우월성은 확인되지 않았다. 이러한 결과는 등가성이나 비열등성의 증거를 구성하지 않는다. 등가성은 별도로 테스트되지 않았다. 발견 사항은 공개 등급 스크리닝 엔드포인트에 국한되며, 은닉 등급 확인은 설계상 보류되었다. 우리는 이를 컴파일된 비판이 정보로서 사라지는 것으로 읽지 않고, 새로운 가설을 테스트하는 데 있어 외부적 역할을 잃는 것으로 해석한다: 오라클로부터 학습된 표현(representation)이 생성 상태에 다시 쓰여질 때, 테스트는 조건화(conditioning)로 대체된다. 작동하는 JEPA-RL 컨트롤러는 주장되지 않는다. PoPE는 위약 대조군 기반의 재테스트 가능한 측정 표준으로 제시되었다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기