확장 가능한 환경이 일반화 가능한 에이전트를 견인한다
요약
일반화 가능한 에이전트 개발을 위해서는 단순한 데이터 확장을 넘어, 실행 가능한 규칙 세트의 분포를 넓히는 '환경 확장(environment scaling)'이 필수적입니다. 본 논문은 궤적, 작업, 환경 확장을 구분하는 새로운 분류 체계를 제안하며, 프로그래밍 방식의 생성기와 생성적 세계 모델을 활용한 환경 구축 패러다임을 제시합니다.
핵심 포인트
- 일반화의 핵심은 고정된 규칙을 넘어 인터페이스, 역학, 관측 등이 변하는 '세계 수준의 분포 변화'에 대응하는 것임
- 확장 방식을 궤적 확장(trajectory scaling), 작업 확장(task scaling), 환경 확장(environment scaling)으로 체계화함
- 제어 가능한 프로그래밍 방식의 생성기와 개방성을 가진 생성적 세계 모델을 대조하여 환경 구축 전략을 제안함
- 환경 간 적응을 위해 상태 유지 학습 메커니즘과 학습된 업데이트 규칙의 결합이 중요함
일반화 가능한 에이전트 (Generalizable agents)는 훈련 분포 (training distribution)를 넘어 다양한 작업과 보지 못한 환경에 적응할 수 있어야 합니다. 본 포지션 페이퍼 (position paper)는 이러한 일반화가 환경 확장 (environment scaling)을 필요로 한다고 주장합니다. 즉, 고정된 벤치마크 내에서 궤적 (trajectories)이나 작업 (tasks)을 늘리는 것에 그치지 않고, 에이전트가 상호작용하는 실행 가능한 규칙 세트 (executable rule-sets)의 분포를 확장해야 한다는 것입니다. 현재의 확장 방식은 주로 고정된 상호작용 규칙 하에서 더 많은 경험을 수집하거나 더 넓은 작업 세트를 확보하는 데 집중되어 있으며, 이로 인해 기저의 인터페이스 (interfaces), 역학 (dynamics), 관측 (observations) 또는 피드백 신호 (feedback signals)가 변할 때 에이전트가 취약해지는 문제를 남깁니다. 따라서 핵심 과제는 세계 수준의 분포 변화 (world-level distribution shift)입니다. 에이전트는 의미 있게 다른 실행 가능한 규칙 세트를 가진 환경에 체계적으로 노출될 필요가 있습니다. 이 과제를 명확히 하기 위해, 우리는 주요 결과물과 실행 가능한 규칙 세트에서 변화하는 요소에 따라 궤적 확장 (trajectory scaling), 작업 확장 (task scaling), 환경 확장 (environment scaling)을 구분하는 통합된 분류 체계 (taxonomy)를 제안합니다. 이 분류 체계를 바탕으로, 우리는 확장 가능한 환경을 위한 구축 패러다임을 합성하며, 제어 가능성 (controllability)과 검증 가능성 (verifiability)을 우선시하는 프로그래밍 방식의 생성기 (programmatic generators)와 더 넓은 범위와 개방성 (open-endedness)을 제공하는 생성적 세계 모델 (generative world models)을 대조합니다. 나아가 우리는 환경 확장이 상태 유지 학습 메커니즘 (stateful learning mechanisms)과 어떻게 결합될 수 있는지 설명하며, 환경 간 적응 (cross-environment adaptation)을 위한 학습된 업데이트 규칙 (learned update rules)을 강조합니다. 마지막으로 우리는 대안적인 관점들을 논의하며, 확장 가능한 환경이 견고한 일반 에이전트 (general agents)를 향한 측정 가능하고 제어 가능한 진보를 위한 필수적인 기질 (substrate)을 제공한다고 주장하며 결론을 맺습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기