Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 집단 지성에서 출력의 분산이 실제 인식적 수정으로 이어지는지 진단하는 블랙박스 방법론을 제안합니다. GPT-4o-mini와 Gemini-2.5-flash를 통해 실험한 결과, 모델별로 분산 증가가 인식적 입장 변화에 미치는 영향이 다름을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기집단 지성(Collective intelligence) 연구는 의견 불일치를 인식적 다양성(epistemic diversity)의 증거로 취급합니다. 즉, 에이전트들이 서로 다른 견해를 표명한다면, 해당 집단은 수정할 수 있는 능력을 유지해야 한다는 것입니다. LLM 집단(LLM collectives)에서는 이러한 대리 지표가 깨질 수 있습니다. 에이전트들이 동일한 결론을 유지하면서도 겉보기에만 다양한 논거를 생성할 수 있기 때문입니다. 우리는 분산-수정 결합(dispersion-revision coupling)을 구체화합니다. 이는 임베딩 공간(embedding space)에서 집단 출력의 분산을 검증 가능한 수준으로 증가시키는 개입이, 전제 유지형 재구성(premise-preserving reformulation)이 아닌 인식적 입장(epistemic stance)의 진정한 수정으로 이어지는 정도를 의미합니다. 이 진단법은 블랙박스(black-box) 방식입니다. 즉, 생성된 텍스트에만 기반하여 작동하며 생성 모델의 내부 표현(internal representations)에 대해서는 어떠한 주장도 하지 않습니다. 두 가지 채널이 독립적으로 측정됩니다. 출력 채널인 일관성 지수(Coherence Index, CI)는 개입이 출력 분산을 변화시켰는지 확인하며, 인식적 채널인 턴별 입장 주석(per-turn stance annotation)은 집단이 수정했는지 여부를 측정합니다. 우리는 출력이 과도하게 수렴할 때 재차 차별화 프로토콜(Re-Differentiation Protocol, RDP)을 삽입하는 메타 예측 명확성 시스템(Meta-Predictive Clarity System, MPCS)을 포함한 CI를 이 결합 체제(coupling regime)를 추정하기 위한 재사용 가능한 방법으로 제안합니다. 우리는 두 가지 구성(gpt-4o-mini 및 gemini-2.5-flash; 조건당 310개의 쌍을 이룬 에피소드)에서 5개 에이전트 집단을 평가했습니다. gpt-4o-mini의 경우, 조건부 반대(conditional dissent)는 잘못된 전제 회복(false-premise recovery)을 +17.7 포인트(p<1e-6) 향상시킨 반면, 정적 페르소나 다양성(static persona diversity)은 회복력을 저해했습니다(-8.1, p=.007). gemini-2.5-flash의 경우, 유사한 예산 내에서 동일한 개입을 수행했을 때 검증된 분산 감소에도 불구하고 이득이 없었습니다(26.1% 대 27.1%, p=.84). 두 처치 효과(treatment effects)는 서로 달랐습니다(z=3.79, p<.001). 메커니즘 태깅(Mechanism tagging) 결과, Gemini는 프레임워크 내부의 반대(intra-framework dissent)를 통해 잘못된 전제를 유지하는 것으로 나타났습니다. 태깅된 RDP 이후 응답의 94%가 인정하기보다는 재구성하는 방식을 취했습니다(GPT의 24%와 대조적). 우리는 정확도와 더불어 개입별 입장 변화(stance shift) 및 전제 유지율(premise-preservation rate)을 보고할 것을 권장합니다.