보이지 않는 복권: 미세한 단서가 LLM 코드 생성 시 알고리즘 선택을 어떻게 유도하는가

요약

LLM이 코드를 생성할 때 작업 명세 외의 미세한 문맥적 단서가 알고리즘 선택에 큰 영향을 미친다는 연구 결과입니다. 실험을 통해 특정 단서가 알고리즘 분포를 체계적으로 변화시킴을 확인했으며, 이를 완화하기 위해 직접적인 알고리즘 명명 방식을 제안합니다.

핵심 포인트

• 프롬프트 내 미세한 단서가 LLM의 알고리즘 선택을 유도함
• 알고리즘 제품군 분포에서 최대 100pp의 체계적 변화 발견
• 우연한 문맥은 성능 및 보안 측면에서 위험 요소가 될 수 있음
• 직접적인 알고리즘 명명이 가장 효과적인 완화 방법임