"참"과 "거짓"이 합쳐져 1이 될까? LLM 에이전트 의견 시뮬레이션에서의 보수적 일관성

LLM 에이전트(agent) 의견 시뮬레이션에서, 각 에이전트는 자신이 이전에 보고한 확률과 이웃들이 보고한 확률을 본 후 어떤 주장이 참일 확률을 보고하며, 그 숫자는 다음 라운드의 해당 에이전트의 상태가 됩니다. 만약 이 숫자가 보여진 문장 자체라기보다는 에이전트의 입장을 설명하는 것이라면, 주장을 그 보수(complement)로 다시 작성하고 모든 확률 p를 1 - p로 대체하면 보수적인 답변을 얻어야 하므로, 두 보고서의 합은 1이 되어야 합니다. 우리는 Qwen3-4B, Llama-3.2-3B, Gemma-3-4B 세 가지 소규모 오픈 모델을 사용하여 이를 테스트했습니다. 실행되는 네트워크 시뮬레이션에서 가져온 2,304개의 에이전트 상태에 대해, Qwen의 쌍별 보고서 합은 평균 1.18을 기록했으며, AVeriTeC의 실제 사실 확인 주장 48개에서도 다시 1을 초과했습니다. 정확히 두 가지 가능한 결과만 있는 24개의 세계로 구성된 통제된 벤치마크는 세 모델 모두에서 동일한 실패를 보여주었습니다. 이러한 불일치는 같은 의미의 의역(paraphrase)이 만들어내는 변화보다 두 배에서 열 배 더 크며, 반복적인 샘플링과 동료 그룹 크기 및 보고 강도 전반에 걸쳐 지속됩니다. 만약 이 보고서들을 보수적 상태에서 시작하는 두 모집단에 다시 공급하면, 이 모집단들은 거울상(mirror images)을 유지하지 못합니다: 모든 모델에 대해 5라운드 후 그들의 발산 정도는 양수입니다. 각 답변을 쌍별 답변의 보수로 평균 내면 구성적으로 일관성을 회복하고 두 표현에 걸쳐 평균된 Brier 손실(Brier loss)을 낮추지만, 최종 라운드에서는 세 모델 중 단 하나만이 원래 두 표현 중 더 나은 쪽을 능가합니다. 동일한 모델에 대한 스케줄링 기반 타겟팅 실험은 이러한 탐색 과정이 주장 문구를 고정하기 때문에 작고 안정적인 상호작용을 제공합니다. 따라서 재작성(rewording) 하에서의 일관성은 시뮬레이션된 확률들이 믿음으로 읽히기 전에 별도의 테스트가 필요합니다.