Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement

요약

본 논문은 비즈니스 아이디어 평가는 다차원적이고 전문가 간 의견이 상충하는 특성을 가지므로, 자동 평가자(judge)를 설계할 때 집합적 합의(aggregate consensus)에 의존할지 개별 평가자를 모델링할지에 대한 방법론적 질문을 탐구합니다. 연구진은 300개의 특허 기반 제품 아이디어를 대상으로 전문가들이 부여한 상세 점수 데이터셋(PBIG-DATA)을 구축했습니다. 분석 결과, 세분화된 영역에서는 높은 불일치가 관찰되었으나, 구조적인 이질성이 존재함을 확인했습니다. 최종적으로, 개별 평가자의 점수 기록에 조건화된 '개인화 평가자(personalized judge)'가 집합적 합의를 따른 '집합적 평가자(aggregate judge)'보다 해당 전문가와 더 높은 일치도를 보이며, 비즈니스 아이디어 평가에는 개인화된 접근 방식이 효과적임을 입증했습니다.

핵심 포인트

• 비즈니스 아이디어 평가는 실행 가능성, 신규성 등 다차원적 기준에 의존하며, 전문가 간 의견 불일치가 흔하다.
• 제안된 PBIG-DATA는 300개 특허 기반 제품 아이디어를 대상으로 6가지 비즈니스 지향적 차원에 대한 상세 점수를 포함한다.
• 세 가지 평가자 구성 중, 개별 평가자의 점수 기록에 조건화된 'personalized judge'가 가장 높은 성능을 보였다.
• 이는 다원적인 평가 환경에서 단순히 집합된 레이블(pooled labels)을 목표로 하는 것보다, 개별 전문가의 관점을 반영하는 것이 더 정확함을 시사한다.