Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 LLM이 객체 이동, 영역 변형 등 순차적인 '공간 지침'을 얼마나 정확하게 예측하는지 검증한 Grid-Bench라는 벤치마크를 소개합니다. 이 벤치마크는 2D부터 4D까지의 이산 세계에서 모델들이 최종 그리드를 예측하도록 합니다. 평가 결과, 기록이 길어질수록 완전 상태 정확도가 급격히 떨어지는 경향을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기공간 지침(Spatial instructions)은 객체를 이동시키거나, 영역을 변형하거나, 주변 환경을 수정하는 방법을 설명합니다. 여러 작업이 순차적으로 적용될 때, 각 작업은 이전 변경 사항으로 형성된 구성을 기반으로 작용합니다. 대규모 언어 모델(LLMs)이 결과적인 공간 상태를 얼마나 정확하게 예측할 수 있을까요? 우리는 Grid-Bench라는 실행 가능한 벤치마크를 소개합니다. 이 벤치마크는 두 차원, 세 차원, 네 차원으로 표현된 이산 세계를 여덟 가지 작업군으로 변형시킵니다. 초기 그리드, 명시적 규칙, 그리고 텍스트로 표현된 이벤트 기록이 주어지면, 모델은 완전한 최종 그리드를 예측합니다. 참조 실행(Reference execution)은 모든 예측 값을 검증 가능하게 만들어, 공간 작업, 기록 길이, 워크로드 전반에 걸쳐 비교를 지원합니다. 여섯 개의 LLM을 평가한 결과, 기록이 길어짐에 따라 완전 상태 정확도(complete-state accuracy)가 급격히 떨어지는 것이 나타났으며, 단일 이벤트에서는 유사한 성능을 보이는 모델들 사이에서도 상당한 차이가 발견되었습니다. 비슷한 정답 일치 정확도(exact-match accuracy)를 가진 모델이라 할지라도 공유되는 인스턴스에서 잘못된 셀의 개수에는 크게 다를 수 있습니다. 긴 기록에 걸쳐서도, 일부 모델은 초기 상태를 복사하는 것만으로는 얻을 수 있는 양보다 더 많은 올바른 변경 사항들을 회복합니다. Grid-Bench는 완전한 복구(complete recovery)와 반환된 상태의 이러한 차이점들을 다양한 공간 조건 전반에 걸쳐 직접 측정할 수 있게 합니다.