보이지 않는 복권: 미세한 단서가 LLM 코드 생성 시 알고리즘 선택을 어떻게 유도하는가

대규모 언어 모델 (LLMs)은 이제 상당한 양의 프로덕션 코드 (production code)를 생성하며, 이는 종종 여러 개의 유효한 알고리즘 솔루션이 존재하는 작업들을 대상으로 합니다. 부수적인 프롬프트 단서 (incidental prompt cues), 즉 작업 명세(task specification) 외부에 있는 문맥적 단어나 메타데이터는 모든 출력이 동일한 테스트를 통과하더라도 모델이 어떤 알고리즘을 선택할지에 영향을 미칠 수 있습니다. 프롬프트 민감도 (Prompt sensitivity)는 출력 품질을 향상시키기 위한 도구로서 잘 연구되어 왔습니다. 여기서 출력 정책 (output policy)이란 고정된 정확도 하에서의 알고리즘 선택을 의미합니다. 우리는 알고리즘 스티어링 (algorithm steering)을 단서로 인해 유도된 알고리즘 제품군 분포의 변화로 정의하고, 11개의 작업, 19개의 단서 유형 (18개의 채널과 타이포그래피 및 구두점을 변경하면서 의미는 유지하는 메모이제이션 의미론적 대 표면 절제 연구 (memoization semantic-vs-surface ablation) 포함), 그리고 15개의 모델 구성에 걸쳐 46,535회의 통제된 실험을 수행했습니다. 우리는 알고리즘 제품군 분포에서 크고 체계적인 변화 (최대 100 pp)를 발견했으며, 이는 속도 제한 (rate limiting)과 같은 응용 작업에서도 단서의 의미론과 크게 일치함을 확인했습니다. 직접적인 알고리즘 명명 (Direct algorithm naming)은 우리가 테스트한 가장 신뢰할 수 있는 완화 방법이었습니다. 따라서 우연한 문맥은 성능, 보안 및 유지보수성 측면에서 "보이지 않는 복권 (invisible lottery)"을 만들어냅니다.