Embodied LLM 탐색: 관찰 충실도가 높을 때 문제 해결 능력이 저하되는 현상

요약

본 연구는 체화된 LLM(Embodied LLM) 에이전트가 완벽한 정답 관찰(ground-truth symbolic observations)을 제공받을 때 오히려 문제 해결 능력이 저하되는 역설적인 현상을 분석합니다. 실험 결과, 적절한 수준의 노이즈가 포함된 RGB 입력 환경에서 에이전트의 성능이 가장 높게 나타났으며, 이는 노이즈가 반복적인 행동 루프를 줄여주는 역할을 하기 때문입니다. 결과적으로 LLM의 성능 평가 시 단순 성공률뿐만 아니라 지각 오류와 추론 실패 간의 상호작용을 고려해야 함을 시사합니다.

핵심 포인트

• 완벽한 심볼릭 관찰 데이터가 제공될 때 LLM 에이전트의 성능이 오히려 하락하는 현상 발견
• 가공되지 않은 RGB 입력 환경에서 에이전트가 가장 높은 문제 해결 성능을 보임
• 인지된 행동 결과에 적절한 노이즈(약 40%의 뒤집기 확률)를 추가할 때 성공률이 최대 2.85배 증가
• 노이즈의 이점은 에이전트의 불필요한 반복 행동 루프를 감소시키는 것과 밀접한 관련이 있음
• LLM의 성능 지표가 단순 성공률을 넘어 지각 및 추론 과정의 복합적인 상호작용을 반영해야 함을 강조