GPT-6.1 Sol보다 OpenAI가 발표한 MentalHealthBench가 더 중요한 이유

최근 OpenAI는 새로운 모델인 GPT-6.1 Sol을 발표했다.

성능과 비용의 균형을 중시하여 코딩이나 전문 업무에서 높은 능력을 발휘하는 모델로 포지셔닝되었고, 많은 사람들의 관심은 당연히 그쪽으로 쏠렸을 것이다.

하지만 연구 커뮤니티의 관점에서 볼 때, 동시에 공개된 MentalHealthBench가 오히려 장기적인 의미에서는 더 큰 전환점이 될 수 있다고 필자는 느꼈다.

이것은 단순히 멘탈 헬스(Mental Health)를 위한 평가 데이터셋이 아니다. AI가 인간과 어떤 관계를 맺어야 하는지, 그 평가 축 자체를 재정의하려는 시도이기 때문이다.

AI 성능보다 라이프스타일을 만끽하고 싶어…

출처: OpenAI: MentalHealthBench 소개

성능에서 영향으로

지금까지 생성 AI의 평가는 '얼마나 똑똑한가'를 측정하는 것이 중심이었다. 수학 문제를 풀 수 있는지, 코드를 작성할 수 있는지, 사실을 정확하게 답할 수 있는지, 추론할 수 있는지 등... 이러한 능력의 향상이야말로 연구 개발의 주 전장이었다.

하지만 현재 그 경쟁은 어느 정도 성숙 단계에 접어들고 있다. 물론 모델 성능의 향상은 계속되고 있지만, 사회 속에서 생성 AI가 미치는 영향력은 더 이상 단순한 질의응답의 영역을 넘어섰다.

OpenAI 자신도 사람들이 AI를 이용하는 장면으로 인간관계 고민, 스트레스 대처, 가족 간 문제, 어려운 의사결정 등을 언급하고 있으며, ChatGPT 사용자가 주당 10억 명을 넘는다는 점도 설명했다.

즉, 현재의 AI는 검색 엔진이나 프로그래밍 지원 도구 그 이상이며, 많은 사람들에게 고민을 말할 상대가 되어가고 있는 것이다.

여기서 문제가 되는 것은 정확한 답을 했는지가 아니라, 그 대화가 인간에게 어떤 영향을 주었는지이다.

OpenAI는 80명 이상의 심리학자 및 정신과 의사와 협력하여, 22개국, 19개 언어에 걸친 전문가 팀으로 MentalHealthBench를 구축했다.

여기서 흥미로운 것은 평가 방법이다.

예를 들어 친구 관계 고민을 상담하는 사용자가 있다고 가정하자. 이때 고평가를 받는 응답은 사용자의 감정을 인식하고, 필요한 맥락을 확인하며, 본인이 무엇을 소중히 여기는지 탐색하는 것이다.

반대로 일방적으로 결론을 강요하거나, 감정을 단정 짓거나, 과도하게 유도하는 응답은 감점 대상이 된다. 즉, 여기서 평가되는 것은 지식이 아니라 어디까지나 **행동(behavior)**이다.

안전성, 맥락 이해, 주체성 존중, 적절한 지원 등 인간과의 관계 방식 자체가 평가 대상이 되고 있으며, 이는 생성 AI 연구에서 매우 큰 변화다.

물론 OpenAI의 공식 설명은

필자는 MentalHealthBench의 본질이 멘탈 헬스가 아니라고 생각한다. 그 본질은, 인간의 인지나 의사결정에 AI가 어떤 영향을 미치는지 측정하는 데 있다.

지금까지의 AI 안전 연구는 유해 콘텐츠 방지나 환각(hallucination) 대책에 중점을 두었다. 하지만 앞으로는 'AI가 어느 정도 사람을 유도할 수 있는지', '인간의 주체성을 지킬 수 있는지', '의존 관계를 만들지 않는지'와 같은 문제가 중요해질 것이다.

OpenAI가 MentalHealthBench에서 중요하게 여기는 '주체성 유지'라는 생각은 바로 그 방향성을 보여주고 있다.

GPT-6.1 Sol이 능력의 진화를 보여준 발표였다면, MentalHealthBench는 능력을 갖춘 AI를 어떻게 평가해야 하는지를 보여준 발표였다.

단기적인 화제성만 놓고 보면 전자가 우세할 수도 있지만, 몇 년 후에 되돌아봤을 때 AI 업계의 전환점으로 기억될 것은 오히려 후자(MentalHealthBench)가 아닐까 생각한다.

과소비는 AI로도 해결할 수 없다...