훈련 분포를 넘어선 것: 신경망 프로그램 합성에서의 일반화 경계 매핑

요약

본 논문은 대규모 트랜스포머 모델이 프로그램 합성에서 보여주는 일반화 능력을 엄격하게 평가하는 방법을 제안한다. 기존 연구들이 데이터 분포에 의존하는 한계를 지적하며, 도메인 특화 산술 문법 기반의 통제된 환경을 구축하여 수백만 개의 고유한 프로그램을 체계적으로 열거하고 분석했다. 실험 결과, 모델은 밀도 일반화(density generalization)에서는 강력하지만, 구문적으로 새로운 영역으로 외삽해야 하는 서포트 일반화(support generalization)에서는 성능 저하를 겪는 것으로 나타났다. 이는 현재의 스케일링 방식으로는 근본적인 한계가 있음을 시사하며, 다양한 다양체(manifolds)를 아우르는 검색 기반 접근법이 필요함을 강조한다.

핵심 포인트

• 프로그램 합성 모델의 일반화 능력을 평가하기 위해 도메인 특화 산술 문법을 활용한 통제된 환경을 구축했다.
• 모델은 데이터 분포 내에서의 샘플링(밀도 일반화)에서는 강하지만, 새로운 구문적 영역으로 외삽하는 것(서포트 일반화)에는 취약하다.
• 컴퓨팅 자원 확장에 따른 성능 개선 효과는 로그선형 관계를 따르므로 근본적인 한계가 존재한다.
• 견고한 일반화를 위해서는 여러 다양체에 걸친 훈련 다양성을 극대화하고, 이를 위한 새로운 검색 기반 접근법이 필요하다.