BehaviorBench: 행동 과학 태스크를 위한 파운데이션 모델(Foundation Models) 벤치마킹

파운데이션 모델 (Foundation models)은 심리학, 사회학, 경제학 등과 같은 행동 과학 (behavioral science) 분야에 점점 더 많이 적용되고 있습니다. 이러한 모델들은 설문 응답 예측 및 인간 피험자 실험 시뮬레이션과 같은 개별 태스크에서는 유망한 모습을 보이지만, 다양한 행동 과학 태스크, 맥락 및 인구 집단에 걸쳐 얼마나 잘 수행되는지에 대한 체계적인 이해는 여전히 부족한 실정입니다. 우리는 네 가지 핵심 역량인 (1) 행동 예측 및 시뮬레이션 (behavior prediction and simulation), (2) 전략적 의사결정 (strategic decision-making), (3) 피험자 특성 추론 (subject-trait inference), (4) 행동 지식 적용 (behavioral knowledge application)을 따라 파운데이션 모델을 평가하는 종합적인 벤치마크인 BehaviorBench를 소개합니다. 결정적으로, BehaviorBench는 모델 출력을 개인 및 분포 수준 (individual and distributional levels) 모두에서 평가하여, 개별 피험자별 정확도뿐만 아니라 행동적 타당성 (behavioral validity)을 위한 필수 요구 사항인 인구 집단 수준의 정렬 (population-level alignment)도 포착합니다. BehaviorBench의 태스크를 활용하여, 우리는 행동 데이터로 미세 조정 (fine-tuned)된 행동 파운데이션 모델 제품군인 Be.FM 제품군을 확장한 Be.FM-1.5를 추가로 개발했습니다. 우리의 결과는 상당한 격차를 보여줍니다. 독점적인 범용 모델 (proprietary general-purpose models)은 개인 수준의 예측과 지식 집약적 태스크에서 뛰어나지만, 행동 데이터로 미세 조정된 행동 파운데이션 모델은 실질적으로 더 강력한 분포 정렬 (distributional alignment)을 달성합니다. 특히, Be.FM-1.5는 분포 지표 (distributional metrics)에서 앞서며 개인 수준 지표에서도 경쟁력을 유지하는데, 이는 적절한 행동적 적응 (behavioral adaptation)이 그 격차를 줄일 수 있음을 시사합니다. 우리의 결과는 분포 평가 (distributional evaluation)의 중요성을 강조하고, BehaviorBench를 행동적으로 정렬된 AI 시스템을 개발하고 평가하기 위한 토대로 확립하며, 광범위한 행동 과학 연구에 대한 Be.FM-1.5의 잠재력을 입증합니다. 우리의 BehaviorBench 및 Be.FM-1.5 모델은 https://umich-foreseer.github.io/behaviorbench/ 를 통해 접속할 수 있습니다.