적은 토큰에 들어가는 것은 과적합되지 않는다: ML 연구 에이전트에서의 압축과 일반화

보류된 벤치마크(held-out benchmark)를 적응적으로 재사용하는 것은 원칙적으로 과적합 (overfitting)을 유발해야 합니다. 하지만 벤치마크 중심의 머신러닝 (ML)은 실제로는 놀라울 정도로 적은 과적합을 보여주었습니다. 매력적인 가설은 성공적인 ML 전략들이 매우 압축 가능하다 (compressible)는 것입니다. 우리는 LLM 기반 연구 에이전트 (research agents) 환경에서 이를 연구하며, 이 가설은 두 가지 상호 보완적인 정보 병목 (information bottlenecks)을 통해 직접적으로 테스트 가능해집니다. extit{출력 압축 (output compression)}에서, 탐색 에이전트 (exploration agent)는 검증 세트 (validation set)를 사용하여 고성능 모델을 적응적으로 탐색하며, 우리는 새로운 ``재현 에이전트 (reproducer agent)''가 매우 짧은 프롬프트 (prompt)와 학습 데이터만 주어졌을 때 그 성능을 재현할 수 있는지 테스트합니다. extit{입력 압축 (input compression)}에서, 탐색기 (explorer)는 제출된 각 모델이 현재 최고 성능을 개선하는지 여부를 나타내는 1비트 피드백 (one-bit feedback)만을 받습니다. 표 형식 분류 (tabular classification), 비전 (vision), 언어 모델링 (language modeling), 확산 모델링 (diffusion modeling), 그리고 보상 모델링 (reward modeling)에 걸친 8개의 데이터셋을 통해, 우리는 이러한 병목 현상이 성능에 거의 영향을 미치지 않는다는 것을 발견했습니다. 즉, 짧은 프롬프트와 압축 가능한 피드백만으로도 고성능 모델을 재현하고 찾아내기에 충분합니다. 이 가설은 반증 가능합니다. 우리가 의도적으로 검증 세트 과적합 (validation-set overfitting)을 유도했을 때, 짧은 프롬프트로는 결과가 재현되지 않았습니다. 종합하면, 우리의 결과는 벤치마크 중심 ML에서 과적합이 부족한 현상에 대해 기술 길이 설명 (description-length explanation)을 뒷받침합니다. 즉, 성공적인 전략들은 전략 공간 (strategy space) 내에서 낮은 복잡도 영역 (low-complexity region)을 차지합니다.