Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 LLM이 동일한 코딩 작업에 대해 다른 자연어 프롬프트를 받을 때 발생하는 '언어 편향'을 조사했습니다. Python과 Java를 포함한 460개 작업을 다국어로 번역하고 수동으로 큐레이션하여, 기능적 정확성 및 구조적 품질 등 여러 차원에서 생성된 코드를 평가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)은 동일한 프로그래밍 작업에 대해 다른 자연어로 프롬프트를 받을 때 다르게 작동하며, 이는 언어 편향(language bias)으로 알려진 현상입니다. 이러한 행동은 일반 텍스트 생성에 대해 광범위하게 연구되었지만, 코드 생성 품질 및 프로그래밍 관습에 미치는 영향은 여전히 충분히 탐구되지 않았습니다. 우리는 프로그래밍 작업을 설명하는 데 사용된 언어가 GPT-4o mini, DeepSeek, Claude가 생성하는 소스 코드를 어떻게 변화시키는지 조사합니다. 우리의 연구는 Python(230)과 Java(230)를 아우르는 460개의 코딩 작업으로 구성됩니다. 우리는 원래의 영어 프롬프트를 기술적 의미를 보존하면서 중국어, 힌디어, 스페인어, 이탈리아어로 번역하고 수동으로 큐레이션했습니다. 우리는 테스트 통과율을 통한 기능적 정확성, 확립된 코드 메트릭을 사용한 구조적 품질, 정적 분석 도구로 감지된 문제점, 식별자 및 주석에 사용된 언어와 같은 어휘적 특성을 포함하여 여러 차원을 사용하여 생성된 코드를 평가했습니다. 우리의 결과는 (i) 영어 프롬프트가 일관되게 최고의 기능적 정확성이나 코드 품질을 산출하지 않으며, (ii) 프롬프트 언어의 영향은 프로그래밍 언어와 LLM 모두에 따라 달라지며, (iii) 생성된 코드가 주석과 문자열 리터럴에서 자주 영어와 프롬프트 언어를 혼합한다는 것을 보여줍니다. 이러한 발견은 코드 생성에서의 언어 편향을 연구하기 위한 최초의 큐레이션된 다국어 벤치마크를 제공하며, 보다 강력한 다국어 코드 생성 시스템 개발에 대한 통찰력을 제시합니다.