https://reddit.com/link/1v5rvuq/video/bgmwc754i9fh1/player 저의 목표는 모델의 공간 인지 능력 (spatial awareness)과 기억력을 측정하기 위한 벤치마크 (benchmark)를 만드는 것이었습니다. 결국, 모델이 열쇠를 찾아 그것을 사용하여 탈출 문을 열어야 하는 미로라는 간단한 아이디어를 떠올렸습니다.

범례: K: 열쇠 (Key), D: 문 (Door), E: 탈출 문 (Escape door)
색상이 있는 타일: 모델을 위한 랜드마크 (landmarks) 역할을 합니다 (많은 모델이 랜드마크 없이는 더 길을 잘 잃기 때문에 이를 통해 더 쉽게 만들었습니다). 흰색은 항상 시작 위치를 나타냅니다.

사용 가능한 도구 (Available Tools):

• n단계 앞으로 이동 (Move forward n steps)
• n단계 뒤로 이동 (Move backward n steps)
• 왼쪽으로 45, 90, 또는 180도 회전 (Turn left either 45, 90, or 180 degrees)
• 오른쪽으로 45, 90, 또는 180도 회전 (Turn right either 45, 90, or 180 degrees)
• 바로 앞의 닫힌 문 열기 (Open the closed door straight ahead)
• 발밑에 놓인 아이템 집기 (Pickup the item lying at your feet)

각 이동 도구 호출 (tool call) 이후, 도구 결과는 관찰 가능한 내용을 보고합니다. 이는 모델 앞의 130도 원뿔 내에서 최대 3개의 벽 타일을 설명하는 레이 캐스트 (ray cast)와 같으며, 다음과 같은 텍스트 설명으로 변환됩니다: "정면 멀리 벽이 있습니다." 열쇠나 문과 같은 다른 특징들도 유사하게 설명됩니다. 모델들이 혼란스러워했기 때문에, 왼쪽이나 오른쪽에 있는 어떤 타일들을 건널 수 있는지 명시적으로 언급하여 난이도를 낮추기도 했습니다.

지금까지 저는 GPT-5.4 mini (제자리를 맴돎), GLM-5.2 (제자리를 맴돎), 그리고 K2.6만 테스트해 보았습니다. 모델들이 어떻게 반응할지 궁금해서 코드를 '바이브 코딩 (vibe-coded)' 했지만, 모델들이 이미 이 작업을 잘 수행할 수 있다는 것을 깨닫기 위해 며칠 동안 코딩에 매달릴 정도는 아니었습니다. 어쨌든, 이것이 공간 인지 능력뿐만 아니라 도구 호출 (tool calls)에 대해서도 훌륭한 벤치마크가 될 것이라고 느낍니다.

여기서 GLM-5.2는 730번째 액션까지 45도 회전할 수 있다는 사실을 잊어버려 루프 (loop)에 빠졌습니다. GLM-5.2는 누적해서 약 6,200만 토큰 (tokens)을 사용한 반면, K2.6은 단 900만 토큰을 사용했습니다. 하지만 K2.6의 경우 preserve_thinking을 켜는 것을 잊었고 GLM-5.2는 preserve_thinking을 유지했기 때문에, 이것은 실제로 동일한 조건에서의 비교 (apples-to-apples)는 아닙니다.

참고: 왠지 모르게 게시물에 두 개의 영상을 제대로 넣을 수 없어서, 댓글에 K2.6 영상을 추가했습니다.

submitted by /u/TheRealMasonMac [link] [comments]