희귀성, 관련성, 그리고 여전히 틀린 이유: 메모리가 LLM 그룹 의사결정에서 실패하는 방식

LLM 그룹의 논의가 최종 결정권자에게 전달되는 짧은 기억으로 압축될 때, 그 기억은 무엇을 보존해야 할까요? 두 가지 자연스러운 휴리스틱(heuristics)은 가장 희귀한 주장이나 의사결정 기준과 관련된 주장을 유지하는 것입니다. 숨겨진 프로파일 태스크(hidden-profile tasks)에서는 둘 다 매력적으로 보입니다. 왜냐하면 어떤 사실이 얼마나 널리 받아들여지는지가 그것이 도움이 되는지와 혼동되기 때문입니다. 우리는 CrossProfile이라는 진단 벤치마크를 소개합니다. 이 벤치마크는 자동으로 검증된 정답 키가 포함된 60개의 템플릿으로 구성되어 있으며, 지원적 사실(supporting), 미끼 사실(decoy), 그리고 무관한 사실의 소유권을 교차시키면서 그 텍스트는 고정된 상태로 유지됩니다 (총 480개 태스크). Qwen2.5-7B, Llama-3.1-8B, 그리고 두 개의 DeepSeek 모델을 대상으로 했을 때, 두 휴리스틱 모두 예측 가능한 지점에서 실패합니다. 관련성(relevance)에 따라 선택하는 방식은 미끼 사실들을 다시 포함하게 만드는데, 이는 미끼 사실들이 주제와 관련성이 있기 때문입니다. 심지어 완벽한 관련성 필터링조차도 고전적인 숨겨진 프로파일 구성에서는 가장 희귀한 순서로 선택하는 방식보다 23점에서 31점 낮은 점수를 얻습니다. 가장 희귀한 순서로 선택하는 방식은 평균적으로 무작위 선택과 다를 바가 없으며, 드문 사실들이 우연히 유용한 경우에만 승리합니다. 두 경우 모두 정확도는 기억이 보존된 증거의 균형을 따르지, 그 기억을 유지한 정책(policy)을 따르지 않습니다. 결정 모델은 세 번째 실패 요인, 즉 일종의 사회적 증거(social proof)를 추가합니다. 이는 여러 에이전트에게 귀속된 사실에 더 큰 가중치를 부여합니다. 출처 태그를 제거하거나 라인 순서를 고정한 채 임의로 재할당하면, 고전적인 구성에서 정확도가 13점에서 24점 상승합니다. 자연스러운 논의에서는 메모리가 작동하기 전에 증거가 손실됩니다. 전체 기록(transcript)은 아무런 메모도 없는 경우보다 낮은 정확도를 보입니다.