코드 생성 편향 평가의 한계: ML 파이프라인 재조명

요약

기존 코드 생성 모델의 편향성 평가는 단순 조건문(if-statements)에만 초점을 맞춰 실제 프로그래밍 환경에서의 편향을 과소평가해왔습니다. 본 연구는 더 현실적인 작업인 머신러닝 (ML) 파이프라인 생성을 통해 편향을 재조명했습니다. 그 결과, 민감 속성(sensitive attributes)이 포함되는 비율이 단순 조건문 대비 현저히 높게 나타났으며, 이는 기존 벤치마크가 실제 배포 환경의 편향 위험을 심각하게 과소평가하고 있음을 시사합니다.

핵심 포인트

• ML 파이프라인 생성은 단순 조건문보다 훨씬 높은 수준의 편향성을 보여주며, 민감 속성 포함률이 평균 87.7%에 달했습니다.
• 기존 코드 생성 모델의 편향 평가 방식(단순 조건문)은 실제 프로그래밍 환경에서의 편향을 과소평가하는 치명적인 한계를 지닙니다 (59.2% vs 87.7%).
• 본 연구 결과는 단순한 문법적 코드를 넘어선 복잡한 시스템 레벨의 코드 생성에서도 심각한 편향 위험이 존재함을 입증합니다.
• 편향성 평가는 단순히 특정 속성의 포함 여부를 넘어, 데이터 전처리 및 피처 선택(feature selection) 과정 전체를 포괄해야 합니다.