인간은 포기하고 추론 모델은 지속한다: 난이도 등록(Difficulty Registration)과 숙고 할당(Deliberation

대규모 추론 모델 (LRMs)은 인간과 마찬가지로 어려운 문제일수록 더 많은 시간을 소요합니다. 이러한 표면적인 유사성은 문항 내부의 상반된 패턴을 숨기고 있습니다. LRM이 문제를 틀렸을 때, 문제를 맞혔을 때보다 더 많은 토큰을 소모하는 반면, 인간은 그 반대로 틀린 시도에서 더 적은 시간을 소비합니다. 우리는 두 가지 수준의 숙고 (deliberation)를 분리합니다: 응답 시간이 문항 전반에 걸쳐 난이도를 어떻게 추적하는지 (등록, registration), 그리고 문항의 정체성을 고정했을 때 에이전트가 자신의 실패나 성공에 더 많은 자원을 할당하는지 (할당, allocation)입니다. 공개된 인간-LRM 매칭 코퍼스(corpus)에서, 인간과 5종의 모든 사고형 LRM은 알려진 문항 간 정렬 (등록)은 재현하지만, 문항 내부 (할당)에서는 차이를 보입니다. 모든 LRM은 큰 오답-정답 효과 (H-ARC에서 Cohen's d = 1.47-3.13)를 보이는 반면, 인간은 반대되는 부호를 보입니다. 이 비교는 각 에이전트 자신의 척도 내에서 유지됩니다; 우리는 초(seconds)와 토큰을 하나의 축에 놓지 않았습니다. 이러한 해리(dissociation) 현상은 문항 고정 효과 (item fixed effects) 하에서도 유지되며, 여러 데이터셋에서 재현되고, 사고형이 아닌 베이스라인에서는 나타나지 않습니다. 우리는 인간의 패턴을 참여 (engagement) 대 포기 (abandonment)로 해석합니다: 사람들은 해결할 수 있다고 기대하는 문항에 머물고 나머지는 포기합니다. 우리는 LRM의 패턴을 불확실성에 의한 길의 연장으로 해석합니다: 모델이 확신이 없을 때 추론 사슬 (chains)이 길어지며, 이는 모델이 실패하는 경향이 있는 바로 그 시점입니다. 두 정책 모두 난이도와 동일한 문항 간 상관관계를 생성하므로, 이전 연구들이 사용해 온 척도에서는 정렬된 것처럼 보입니다; 이 차이는 문항의 정체성이 고정되었을 때만 나타납니다. 자원 합리적 메타 추론 (resource-rational metareasoning) 관점에서, 이 분리는 난이도 신호를 공유하지만 반대되는 제어를 구현하는 두 가지 정지 정책 (stopping policies) 사이의 차이입니다; 추론 경로 길이 (trace length)는 신호는 포착하지만 제어는 놓치게 됩니다.