행동하기 전에 재구성하기: 비전-언어-행동 모델의 언어 민감도 특성화 및 완화

요약

본 연구는 비전-언어-행동 모델(VLAs)이 지침 구문에 극도로 민감하다는 문제를 다룹니다. 단어 수정만으로 성공률이 크게 변하는 현상을 특성화하고, 이를 완화하기 위해 재구성 규칙을 추출하여 모든 입력 지침을 다시 작성하는 방법을 제안합니다. 이 방법은 추가 훈련 없이도 성능 향상과 일반화 능력을 높입니다.

핵심 포인트

• VLAs는 지침 구문에 매우 민감하며, 단어 하나가 성공률에 큰 영향을 미칩니다.
• 단일 편집 변화와 오라클 검색을 통해 이러한 민감도를 체계적으로 특성화했습니다.
• LLM을 활용하여 재구성 규칙(rephrasing rules)을 추출하고 입력 지침을 수정하는 파이프라인을 제시합니다.
• 제안된 방법은 추가 훈련 없이도 제로샷으로 성능 향상과 일반화 능력을 입증했습니다.