Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 사회적 지능을 측정, 내재화, 접지하기 위한 통합 프레임워크인 Zing을 제안합니다. 심리학 기반 벤치마크 SoMBench와 학습 레시피 Zing, 그리고 추론 시 지원을 위한 Actio 아키텍처를 통해 모델의 사회적 역량을 강화하는 방법을 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM)이 고립된 작업 해결에서 인간 환경에서의 장기적인 서비스로 이동함에 따라, 모델에는 사회적 지능 (social intelligence)이 필요합니다. 즉, 정신 상태를 추론하고, 사회적 관계를 추적하며, 규범에 대해 추론하고, 맥락에 따라 행동을 조정하는 능력이 필요합니다. 본 보고서는 사회적 지능을 측정, 내재화 및 접지 (grounding)하기 위한 통합 프레임워크인 Zhijing을 제시합니다. 측정을 위해, 우리는 3개의 주요 차원, 17개의 보조 차원, 71개의 작업 패러다임에 걸쳐 심리학에 기반한 벤치마크인 SoMBench를 도입합니다. 이는 284개의 공유 시나리오와 3,481개의 전문가 검증 사례에 걸쳐 질문 형식, 서사 관점 및 문맥 길이를 제어합니다. 20개의 대표적인 LLM을 평가한 결과 상당한 개선 여지가 있음이 드러났습니다. 가장 우수한 모델도 전체 정확도가 72.08%에 불과하며, 17개의 보조 차원 중 어느 것도 90%의 근접 상한선 (near-ceiling band)에 도달하지 못했습니다. 내재화를 위해, 우리는 지도 미세 조정 (supervised fine-tuning), 온-정책 증류 (on-policy distillation), 그리고 루브릭 기반 강화학습 (rubric-based reinforcement learning)을 결합한 진단 주도형 학습 레시피인 Zing을 개발합니다. 5개의 사회 인지 벤치마크 전반에서 Zing은 기본 모델보다 일관되게 우수한 성능을 보였으며, Zing-27B-Stage2는 가장 높은 평균 점수를 달성했고 Zing-32B-Stage2는 DeepSeek-V4-Pro와 경쟁할 만한 수준을 유지했습니다. 배포 시점의 접지 (deployment-time grounding)를 위해, 우리는 네 가지 유형의 지원을 추론으로 라우팅하는 하네스 제어 추론 아키텍처인 Actio를 구축합니다: 절차적 가이드를 위한 PRISM, 런타임 정신 상태 표현을 위한 Starling, 재사용 가능한 경험을 위한 SAGE, 그리고 외부 사회적 및 규범적 지식을 위한 게이트형 RAG (gated RAG)가 포함됩니다. 5개의 기본 모델과 3개의 벤치마크에 걸쳐, 전체 하네스는 15개의 모델-벤치마크 쌍 중 14개에서 성능을 향상시켰으며, 8개에서는 최고이거나 공동 최고 성능을 보임으로써 유형화된 런타임 지원의 효과를 입증했습니다. 종합적으로, 이러한 결과는 사회적으로 지능적인 LLM을 구축하기 위해 평가, 파라미터 내재화, 그리고 배포 시점의 접지 측면에서 조율된 발전이 필요함을 보여줍니다.