Tycho: ARC-AGI-3를 위한 프로그래밍 방식 월드 모델을 활용한 능동적 추상화 (Active Abstraction)
요약
ARC-AGI-3 환경에서 프로그래밍 방식의 월드 모델을 활용해 능동적 추상화를 수행하는 코딩 에이전트 시스템 Tycho를 소개합니다. Tycho는 관찰 데이터를 구조화하여 가설을 모델링하고 테스트하며, 모델의 구축과 수리 시점을 결정하는 능동적 추상화 과정을 통해 높은 효율성을 달성합니다.
핵심 포인트
- Tycho는 결정론적 무어 머신을 활용한 프로그래밍 방식 월드 모델링 시스템임
- 능동적 추상화를 통해 모델 구축, 수리, 사용, 우회 시점을 결정함
- GPT-5.6 Sol 및 Opus 5 모델이 100.00 RHAE를 달성하며 높은 성능 입증
- 단순 전이 일치를 넘어 목표 식별과 행동 개선을 포함하는 복합적 문제 해결
ARC-AGI-3는 추상화(abstraction)를 기술 습득의 상호작용적 문제로 전환합니다. 플레이어는 모든 움직임이 중요하기 때문에 행동 효율성을 유지하면서 낯선 게임의 규칙, 숨겨진 상태(hidden state), 그리고 목표를 추론해야 합니다. 우리는 이러한 환경을 매개변수화된 렌더링된 결정론적 무어 머신(parameterized rendered deterministic Moore machines)으로 공식화하고, 상호작용 중에 게임 특화 모델을 구축하고 사용하는 코딩 에이전트 시스템인 Tycho를 소개합니다. Tycho는 실행 가능한 관찰(actionable observations)을 중간 애니메이션, 레벨 완료, 게임 오버 프레임과 분리합니다. 이러한 구조화된 이력으로부터 에이전트는 자유 형식의 실행 가능한 가설(free-form executable hypothesis)을 모델링, 테스트, 계획, 수리 또는 우회할 수 있습니다. 정책당 하나의 매칭된 공개 세트 실행에서, 우리는 동일한 추론 예산 하에 Claude Opus 4.8을 사용하여 25개의 모든 공개 게임에 대해 네 가지 오케스트레이션 정책(orchestration policies)을 비교합니다. 모델 빌더(model builder)에 대한 액터 요청 위임(Actor-requested delegation)은 관찰된 가장 높은 평균 상대적 인간 행동 효율성(Relative Human Action Efficiency, RHAE)인 88.49를 달성했습니다. 이 선택된 정책을 통해 GPT-5.6 Sol과 Opus 5는 모두 100.00 RHAE에 도달하고 183개 레벨을 모두 완료했습니다. 이들의 게임 균형을 맞춘 첫 실행 인간 재현(first-run human-replay) 중간 순위(midranks)는 각각 98.5와 100.0입니다. Opus 5는 공식 인간 베이스라인의 총합보다 61% 적은 점수화된 행동(scored actions)을 사용합니다. 검증 실패 후 자동 수리(Automatic repair)는 관찰된 전이(transitions)를 훨씬 더 정확하게 재현하는 모델을 생성하지만, RHAE는 83.07에 그칩니다. 전이 일치(Transition match)는 시뮬레이터가 관찰된 역학(dynamics)을 재현하는지 여부를 나타낼 뿐, 목표를 식별했는지 또는 다음 행동을 개선하는지를 나타내지는 않습니다. 강력한 플레이를 위해서는 모델을 언제 구축, 수리, 사용 또는 우회할지 결정하는 것도 필요합니다. 우리는 이 결합된 문제를 능동적 추상화(active abstraction)라고 부릅니다. 즉, 비용이 드는 상호작용으로부터 테스트 가능한 모델을 생성하고, 모델을 획득하거나 사용하는 것이 그 비용만큼의 가치가 있는지 결정하는 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기