Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 평가기를 활용해 논문의 아이디어 품질을 측정함으로써, 논문 게재 결정 요인이 실력인지 인맥인지 분석한 연구입니다. 경제학 워킹 페이퍼를 대상으로 분석한 결과, 실행력이 기본 토대가 되며 인맥은 최상위 저널 게재 확률을 높이는 상한선 역할을 함을 밝혀냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기과학 출판이 아이디어의 질을 보상하는 것일까요, 아니면 인맥의 이점을 보상하는 것일까요? 이 질문은 명성 중심의 과학계에 보편적인 문제이지만, 논문의 게재 결과(fate)를 척도로 사용하지 않고서는 논문의 질을 게재 전에는 측정할 수 없었기 때문에 수십 년간 연구가 어려웠습니다. 우리는 저자의 이름이나 결과를 보지 않고 아이디어를 평가하는, 해당 분야에 특화된 LLM (Large Language Model) 평가기를 사용하여 출판 전 논문의 텍스트로부터 아이디어의 질을 직접 측정함으로써 이 제약을 극복합니다. 경제학을 사례 연구로 사용하여, 우리는 6,208개의 경제학 워킹 페이퍼 (working papers)를 대상으로 저널 배치에 대한 5가지 입력 생산 함수 (production function)를 추정하기 위해, 이 텍스트 판독 가능한 아이디어 품질 점수를 실행 품질 루브릭 (execution-quality rubric), 인맥 지수 (connection index), 저자 역량 지수 (author-ability index), 그리고 기성 언어 모델 텍스트 점수와 결합합니다. 이러한 입력값들은 경쟁 관계가 아니라 명성의 사다리를 따라 이어지는 일련의 과정입니다. 실행력 (Execution)은 능력주의적 (meritocratic) 하한선을 설정하며 전체적으로 가장 큰 입력값입니다. 텍스트 판독 가능한 아이디어 품질은 그 사이의 단계들을 구분합니다. 인맥은 주로 정점, 즉 가장 선별적인 저널 근처에서 작용하는 특혜의 상한선 (favoritism ceiling)을 설정합니다. 인맥은 두 가지 가산적 채널 (additive channels)을 통해 작동합니다: 인맥이 있는 저자는 더 높은 점수를 받는 논문을 작성하며, 동일한 점수일지라도 그들의 논문은 여전히 더 좋은 곳에 게재될 가능성이 높습니다. 그러나 이러한 이점은 제한적입니다. 인맥은 평범한 아이디어가 정점에 도달하는 것을 일반적인 결과로 만들지는 않으면서 모든 단계의 확률을 높여주며, 심지어 가장 높은 점수를 받은 논문조차 가시적인 저널 사다리에 도달하는 데 있어 실질적인 마찰을 겪습니다. 결과적으로, 이 연구는 과학이 어떻게 출판되는지에 대한 능력주의적 설명과 네트워크적 설명 중 하나를 선택하는 것이 아니라, 두 모델을 하나의 틀 안에 통합합니다.