TraceViT: 시각적 추상 추론을 위한 근거 기반 추적 감독 (Grounded Trace Supervision)
요약
TraceViT는 ARC 벤치마크를 위해 제안된 루프형 시각적 추론 모델로, 중간 단계의 변환 과정을 단계별로 감독하는 '추적 감독(Trace Supervision)' 방식을 사용합니다. 의미론적으로 단조로운 변환 체인을 통해 모델이 논리적인 추론 단계를 밟도록 유도하며, ARC-AGI-1에서 높은 성능을 입증했습니다.
핵심 포인트
- 중간 단계의 정교화 과정을 제약하는 추적 감독 방식 제안
- 의미론적으로 단조로운 변환 체인을 통한 단계별 추론 학습
- 소프트 추적 정렬을 통해 모델의 자유로운 반복 횟수 할당 지원
- ARC-AGI-1에서 67.8%의 pass@2 성능 달성
- 추적 감독은 근거 부여(grounding)와 결합될 때 효과적임
추상 및 추론 코퍼스 (Abstraction and Reasoning Corpus, ARC)는 모델이 몇 가지 입출력 예시로부터 보지 못한 변환 (transformation)을 추론하고 이를 새로운 그리드 (grid)에 적용할 수 있는지 테스트합니다. 루프형 시각적 추론기 (Looped visual reasoners)는 여러 번의 반복 (iterations)을 통해 예측을 정교화하지만, 기존의 학습 방식은 최종 출력만을 제약하며 중간 단계의 정교화 과정은 제약하지 않은 채로 남겨둡니다. 우리는 이러한 정교화 과정이 변환 단계를 단계별로 따라야 한다고 제안합니다. 우리는 의미론적으로 단조로운 변환 체인 (semantically monotonic transformation chains)으로 학습된 루프형 시각적 추론기인 TraceViT를 소개합니다. 우리는 프로그래밍 방식의 작업 구현을 다시 작성하고 검증함으로써 이러한 체인을 얻으며, 각 솔루션을 중간 그리드 상태로 분해합니다. 각 반복은 퓨샷 데몬스트레이션 (few-shot demonstrations)에서 유도된 작업 참조 (task reference)와 현재 그리드 상태를 나타내는 객체 워크스페이스 (object workspace)에 의해 근거가 부여됩니다 (grounded). 이러한 체인은 루프의 길이와 다를 수 있기 때문에, 소프트 추적 정렬 (soft trace alignment)은 오직 그 순서만을 강제하여 모델이 반복 횟수를 자유롭게 할당할 수 있도록 합니다. TraceViT는 ARC-AGI-1에서 67.8%의 pass@2를, ARC-AGI-2에서 24.3%를 달성했습니다. ARC-AGI-1에 대한 통제된 절제 연구 (Controlled ablations) 결과, 추적 감독 (trace supervision)은 근거 부여 (grounding)와 결합될 때만 유익해지는 것으로 나타났습니다. 코드와 데이터는 https://github.com/LiuBinnan/TraceViT 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기