대규모 트랜스포머 (transformers) 는 프로그램 합성 벤치마크에서 놀라운 결과를 달성하지만, 데이터 오염과 불투명한 훈련 코퍼스로 인해 그 진정한 일반화 능력은 여전히 가려져 있습니다. 모델이 실제로 일반화하고 있는지 아니면 단순히 암기한 템플릿을 검색하는지에 대해 엄격하게 평가하기 위해, 도메인 특화 산술 문법 (arithmetic grammar) 에 기반한 엄격하게 통제된 프로그램 합성 환경을 도입합니다. 수백만 개의 고유한 프로그램을 체계적으로 열거하고 평가함으로써 해석 가능한 구문적 및 의미적 지표 공간 (metric spaces) 을 구성합니다. 이를 통해 데이터 분포를 정밀하게 매핑하고, 특정 분포 이동을 격리하는 훈련과 테스트 세트를 샘플링할 수 있습니다. 우리의 실험 결과는 밀도 일반화 (density generalization) 를 최적화함으로써 -- 즉 의미적 및 구문적 공간 모두에 대한 다양한 샘플링을 통해 -- 강력한 오스트라이드스트리뷰션 (out-of-distribution) 일반화를 유도함을 보여줍니다. 반면, 서포트 일반화 (support generalization) 를 평가한 결과 트랜스포머는 외삽 (extrapolation) 에서 심각한 어려움을 겪으며, 구문적으로 새로운 프로그램을 생성하도록 강요받을 때 성능이 30% 이상 하락하는 것을 경험합니다. 컴퓨팅 자원을 꾸준히 확장하면 일반화가 개선되지만, 그 이득은 엄격히 로그선형 (log-linear) 관계를 따릅니다. 우리는 견고한 일반화를 위해서는 여러 다양체 (manifolds) 를 가로지르는 훈련 다양성을 극대화해야 하며, 우리의 발견은 현재 로그선형 스케일링 병목 현상을 극복하기 위해 새로운 검색 기반 (search-based) 접근법의 필요성을 시사합니다.