EQ-Bench 4를 발표합니다.

이는 다양한 시뮬레이션된 사용자 페르소나(user personas)와 함께하는 16턴 대화입니다.

핵심 아이디어: 사용자 상호작용을 위한 단 하나의 최선의 정책(policy)은 존재하지 않습니다.

사용자의 선호도와 니즈를 직관적으로 파악하는 것은 어렵습니다. 이를 잘못 파악하면 사용자는 신뢰를 잃거나 떠나게 됩니다. 우리는 서로 경쟁하는 특성들을 샘플링함으로써 이 과제를 부호화(encode)합니다:

사용자 1: 반박(pushback)을 좋아함
사용자 2: 🤗을 원함

---

AI 모델들은 인간을 위해 설계된 객관식 EQ 퀴즈는 잘 통과할지 모르지만, 사용자와의 상황적 판단(situational judgement calls)에서는 상식(common sense)이 부족합니다. 이들은 다음과 같은 다양한 문제를 보입니다:

• 아첨하는 (sycophantic)
• 냉담한 (aloof)
• 정해진 대본대로만 하는 (scripted)
• 해석에 있어 과도하게 자신만만한 (overconfident with interpretations)

이전에 너무 아첨하던 일부 프런티어 모델(frontier models)들은 이를 교정하는 과정에서 지나치게 나아가, 너무 도전적이거나 사용자와의 연결을 두려워하게 되었을 수 있습니다. 이 경계를 찾아내는 것은 AI 연구소와 모델 모두에게 어려운 일입니다. 챗봇의 의도는 원칙과 안전 정책(safety policies)을 준수하면서도 최대한 지원적이고 도움이 되는 상태를 유지하는 것입니다. 챗봇은 종종 이러한 판단을 잘못 내리며, 사용자는 이를 낮은 EQ 행동으로 인식합니다. EQ-Bench 4는 이러한 판단력을 시험하는 역할극(roleplay) 상황을 단계별로 구성합니다.

---

EQ-Bench 4는 적용된 정서 지능(emotional intelligence)과 사회적 능력을 평가합니다.

사용자와의 새로운 대화에서 챗봇은 제한된 정보로부터 선호도와 민감도를 추론해야 합니다. EQ-Bench의 명시적인 목표는 다음과 같습니다:

• 신뢰 구축
• 통찰력 제공 및 도움 제공
• 사용자를 멀어지게 하지 않기

사용자 페르소나(Gemini-3.1-pro가 연기)는 자신의 적대적 특성(adversarial traits)을 활용하여 이 과정을 어렵게 만듭니다. 대화 기록은 3인의 심사위원 패널(Opus 4.6 / GPT-5.5 / Gemini-3.1-pro)에 의해 블라인드 방식의 쌍체 비교(pairwise)로 채점됩니다.

---

페르소나 데이터셋을 생성하기 위해 수백 가지의 서로 다른 사용자 선호도, 트리거(triggers), 신뢰 스타일 및 인구 통계적 특성이 샘플링됩니다.

사용자 페르소나(user persona)는 정적이지 않습니다. 페르소나는 매 턴마다 스스로의 신뢰, 존중 및 기타 감정 상태를 설정하며, 응답하기 전에 캐릭터에 몰입한 숨겨진 내적 독백(inner monologue)을 작성합니다. 캐릭터 카드(character card)가 대화의 궤적과 어떻게 교차하느냐에 따라 마음을 열 수도, 방어적으로 변할 수도, 혹은 대화에서 이탈할 수도 있습니다.

많은 특성(traits)이 서로 직접적으로 충돌하기 때문에, 쉽게 승리할 수 있는 방법은 없습니다. 이는 현실 세계의 복잡성을 복제하는 것을 목표로 하는 동시에, 향후 발생할 수 있는 보상 해킹(reward-hacking)에 쉽게 적응할 수 있는 방법을 제공합니다. 즉, 발견된 취약점(exploit)에 대항하는 적대적인 사용자 특성을 더 많이 샘플링하기만 하면 됩니다.

---

모델마다 각기 다른 독특한 특성(quirks)이 있습니다:

GPT-5.5 - 초구체적인 계획을 통해 과업 마비(task-paralysis)와 싸웁니다:

몇 가지 한계점:

• 시뮬레이션된 사용자는 실제 사람이 아닙니다! Gemini의 베이스라인보다 더 현실적으로 만들기 위해 페르소나 프롬프트 (persona prompts)를 반복적으로 개선했지만, 여전히 실제 사용자에 대한 근사치일 뿐입니다.
• 평가자 (judges) 또한 LLM입니다: 그들 나름의 선호도, 편향 (biases) 및 사각지대 (blind spots)를 가지고 있습니다.
• 단일 채팅 평가 (single-chat evaluation)는 근시안적입니다. 즉, 신뢰 구축 및 관계 단절의 장기적인 결과에 적절한 가중치를 두지 못합니다.
• 모델이 평가받고 있다는 사실을 인지하는 역할극 (roleplay) 채팅에서의 능력과 성향을 측정합니다. 이는 실제 배포된 행동 (deployed behaviour)으로 정확하게 전이되지 않을 수 있습니다.

벤치마크 코드는 github에 오픈 소스로 공개되었습니다. 링크는 다음과 같습니다:
[IMG:1]
[IMG:2]
[IMG:3]
[IMG:4]