어휘인가, 스캐폴드(Scaffold)인가? Popper식 코드 생성 기술에 대한 통제된 2단계 사전 등록 연구

대규모 언어 모델(Large Language Models, LLMs)은 점점 더 코드를 작성하고, 검토하며, 판단하고 있습니다. 또한 모델에게 과학자처럼 추론하도록 요청하는 프롬프트 '기술(skills)'을 갖추는 관행도 빠르게 성장하고 있습니다. 대표적인 예로 모델에게 Popper식 반증주의자(Popperian falsificationist)처럼 행동하라고 지시하는 것이 있으며, 이러한 기술이 생성된 코드의 품질을 향상시킨다고 보고되고 있습니다. 하지만 이러한 이점은 거의 항상 위치 편향(positional bias), 자기 선호 편향(self-preference bias), 스타일 편향(stylistic bias)이 문서화된 도구인 LLM-as-a-judge를 통해 읽힙니다. 우리는 다음과 같은 질문을 던집니다. 만약 도움이 되는 것처럼 보인다면, 그 이득은 기술의 Popper식 내용에서 오는 것인가, 아니면 스캐폴드(scaffold)가 부여하는 구조에서 오는 것인가? 우리는 세 가지 대조군을 포함한 2단계 제거 연구(two-tier ablation)를 사전 등록했습니다: 길이 매칭 플라세보(length-matched placebo), Popper식 헤더는 유지하되 절차는 제거한 라벨 전용 스캐폴드(labels-only scaffold), 그리고 실행 오라클(execution oracle, HumanEval+ 유닛 테스트)입니다. 여기에 어휘 후광 감시자(vocabulary-halo sentinel)와 동일 모델 자기 판단 감사(same-model self-judge audit)를 추가했습니다. 프런티어 모델(Claude Sonnet 4.6, N=163)에서는 모든 조건이 벤치마크 상한선(ceiling) 근처에 머물며 차이를 보이지 않았으므로, 사전 등록된 +5포인트 개선은 지지되지 않았습니다(상한선 제한으로 인한 미검출). 소형 모델(Qwen2.5-Coder-0.5B, N=164)에서는 구조화된 실험군이 best-of-eight 정확도를 20-22포인트 높였으나, 전체 기술은 라벨 전용 스캐폴드에 비해 분리 가능한 이점을 보여주지 못했습니다(집계 F@8=L@8 vs V@8=34.8%), 그리고 플라세보는 단 2.4포인트 뒤처졌습니다. Popper식 루브릭을 적용하는 0.5B 자기 판단 모델은 무작위 선택을 이기지 못했으며, 선택의 60%가 하나의 인덱스에 집중되었습니다. 테스트된 두 설정 모두에서, 기술의 Popper식 절차적 내용은 라벨 전용 스캐폴드를 넘어 분리 가능한 실행 정확도 이점을 추가하지 않았으며, 따라서 이득은 스캐폴드 구조를 따릅니다. 우리는 보정된 부정적 결과(calibrated negative result)와 재사용 가능한 모호성 해소 프로토콜(disambiguation protocol)을 기여합니다. 이 발견은 특정 프롬프트 기술 제품군에 대한 공학적 주장의 범위를 제한하는 것이며, 일반적인 Popper식 방법론에 대한 평가가 아닙니다.