HERO'S JOURNEY: 텍스트 게임을 통한 복잡한 규칙 유도 (Rule Induction) 테스트

우리는 목표 지향적 에피소드 작업 (goal-directed episodic tasks)에서의 규칙 유도 (rule induction)를 위한 벤치마크인 HERO'S JOURNEY를 소개합니다. 이 작업에서 에이전트 (agent)는 시연 (demonstrations)으로부터 숨겨진 규칙을 추론하고, 다단계 실행 (multi-step execution)을 통해 이를 수행해야 합니다. HERO'S JOURNEY는 속성 유도 (attribute induction) 및 절차적 유도 (procedural induction) 제품군에 걸쳐 8개의 작업을 다루며, 각 작업은 4가지 구조적 규칙 형태, 제어 가능한 어휘적 접지 (lexical grounding), 그리고 식별 가능성 조건 (identifiability conditions)을 갖추고 있습니다. 최신 대규모 언어 모델 (LLMs)을 평가한 결과, 모델들이 규칙 유도의 증거를 보여주기는 하지만, 그 능력은 제한적이며 작업 전반에 걸쳐 불균형하게 나타남을 발견했습니다. 한편, 프로세스 실행 (process execution)은 모델에게 실행 병목 현상 (execution bottleneck)을 추가하는 반면, 표면적 의미론 (surface semantics)은 최소한의 영향만을 미칩니다. 유도 특화형 스티어링 (steering) 방법들은 속성 작업 (attribute tasks)에서의 성능은 향상시키지만, 절차적 작업 (procedural tasks)에서는 신뢰할 만한 이득을 보여주지 못하며, 이는 절차적 유도 (procedural induction)의 격차가 여전히 해결해야 할 과제로 남아 있음을 시사합니다.