오늘날 가장 거대한 인공지능 (AI) 스타트업들은 대담한 약속을 아끼지 않습니다. 그들의 기술 중 일부는 소프트웨어 개발, 신약 개발, 그리고 과학 연구를 혁신할 것이라고 자랑합니다.

하지만 7월 16일 bioRxiv에 게시된 새로운 프리프린트 (preprint) 논문은 이들 기업 중 상당수가 과학의 가장 근본적인 관행 중 하나인, 다른 연구자들이 평가하고 그 위에 구축할 수 있도록 과학 문헌에 발견 내용을 공개적으로 기록하는 활동에 거의 참여하지 않고 있음을 시사합니다. 새로운 분석에 따르면, 10억 달러 이상의 가치를 지닌 비상장 기업인 AI 유니콘 (unicorns)의 절반 이상이 과학 논문이나 프리프린트 (preprint)를 발표하는 데 주도적인 역할을 한 적이 없습니다. 이들을 모두 합쳐도 2025년에 발표된 AI 논문 1,000편 중 단 1편만을 차지했습니다.

"과학을 재편하고 있다고 여겨지며 과학적 잠재력 측면에서 매우 진보한 분야임에도 불구하고, 과학적 문서화가 전혀 이루어지지 않는다는 것은 매우 이상한 역설처럼 보입니다."라고 Stanford University의 메타과학자 (metascientist)이자 논문 공동 저자인 John Ioannidis는 말합니다. "그들이 말하는 것이 실제적이고, 검증되었으며, 재현 가능하다는 것을 어떻게 판단할 수 있겠습니까?" 다른 이들은 이러한 출판물의 부족이 에너지 사용 및 안전을 포함한 AI의 사회적 영향을 평가하는 것을 더 어렵게 만든다고 말합니다.

하지만 University of Alberta의 AI 윤리학자 Mohamed Abdalla는 이러한 결과가 단순히 과학적 규범을 준수하지 못한 실패라기보다는, 상업적 AI 개발자들이 직면한 인센티브를 반영한다고 말합니다. "과학을 발전시키는 것이 회사의 업무는 아니지 않습니까?"라고 그는 말합니다. "회사의 업무는 돈을 버는 것입니다."

Ioannidis는 유니콘 기업들, 특히 바이오테크 (biotech) 분야의 기업들이 과학 문헌과 어떻게 상호작용하는지를 오랫동안 연구해 왔습니다. (2015년, 그는 사기 데이터에 기반한 것으로 밝혀진 혈액 검사 스타트업 Theranos가 생산한 피어 리뷰 (peer-reviewed) 연구의 부족함을 공개적으로 조사한 첫 번째 인물이었습니다.) 그는 AI 유니콘들도 유사한 패턴을 보일지 궁금해했습니다.

이를 알아내기 위해, 그와 그의 팀은 먼저 1998년부터 2025년까지 존재했던 317개의 모든 AI 유니콘 기업을 식별했습니다. 그런 다음, 이 스타트업들과 연관된 학술지 논문, 컨퍼런스 논문, 리뷰 및 프리프린트 (preprints)를 포함한 출판물을 검색했습니다. 그들은 기업 연구자가 제1저자 또는 교신저자 (last author)로서 주도적인 역할을 수행하여, 해당 스타트업이 연구에 실질적인 기여를 했음을 나타내는 논문들을 선정했습니다. 최종 데이터 세트에는 1,389개의 피어 리뷰 (peer-reviewed) 논문과 688개의 프리프린트 (preprints)를 포함하여 총 2,077개의 최종 출판물이 포함되었습니다.

분석 결과, 스타트업의 절반 이상이 자격 요건을 갖춘 논문을 단 한 편도 생산하지 않은 것으로 나타났습니다. 과학적 영향력은 훨씬 더 집중되어 있었는데, 상위 5%의 기업이 전체 인용 횟수의 90% 이상을 차지했습니다. OpenAI 한 곳이 데이터 세트 내 전체 인용의 거의 40%를 차지했으며, 중국의 컴퓨터 비전 (computer vision) 기업인 Megvii와 플랫폼 Hugging Face가 그 뒤를 이었습니다. 그리고 가장 많은 논문을 발표하는 기업들조차, 출력물의 상당 부분이 동일한 소수의 반복 저자 그룹에서 나왔습니다. 예를 들어, OpenAI는 약 4,500명을 고용하고 있음에도 불구하고, 자격 요건을 갖춘 논문을 5편 이상 저술한 연구자는 단 8명뿐이었습니다.

업계의 구조를 고려할 때, 이러한 결과는 일부 AI 연구자들에게 놀라운 일이 아닙니다. 아칸소 대학교 (University of Arkansas)의 AI 연구원인 누르 아메드 (Nur Ahmed)는 발표된 발견이 특허로 보호받을 수 있는 제약 산업과 달리, AI 기업들은 기술적 진보를 공개적으로 드러내도 얻는 것이 거의 없다는 점을 학습했다고 말합니다. 압달라 (Abdalla)는 오늘날의 대규모 언어 모델 (large language models)의 기반이 되는 아키텍처 (architecture)인 트랜스포머 (transformer)에 관한 구글의 2017년 기념비적인 논문이 고전적인 경고 사례가 되었다고 덧붙였습니다. 구글이 해당 기술의 측면들을 특허로 등록했음에도 불구하고, 그는 "그 누구도 그 대가로 구글에 비용을 지불하고 있지는 않다고 생각합니다"라고 말했습니다.

스타트업 또한 동료 검토 (peer review)가 몇 달 또는 몇 년 동안 지체될 수 있는 학계보다 훨씬 빠른 타임라인으로 운영됩니다. 이것이 바로 Hugging Face의 AI 정책 연구원인 Avijit Ghosh가 연구의 "블로그화 (blogification)"라고 부르는 방식을 많은 AI 기업들이 채택한 이유입니다. 즉, 과학 저널 (scientific journals) 대신 블로그 포스트와 기술 보고서 (technical reports)를 통해 새로운 모델을 발표하고 코드나 데이터 세트 (data sets)를 공개하는 것입니다. 그는 이번 새로운 분석이 그러한 결과물들을 추적하지 않았다고 지적합니다.

Ghosh에게 있어 논쟁의 중심은 저널에 출판하느냐 블로그에 하느냐가 되어서는 안 됩니다. 중요한 것은 기업들이 다른 이들이 자신들의 작업을 독립적으로 검증하고 그 위에 구축할 수 있도록 충분한 코드, 데이터 세트, 또는 모델 가중치 (model weights, 모델이 프롬프트에 어떻게 해석하고 반응하는지를 결정하는 숫자들)를 공개하고 있는지 여부라고 그는 말합니다.

또한 프리프린트 (preprint) 연구에 따르면, 중국에 기반을 둔 기업들이 미국에 기반을 둔 기업들보다 일관되게 더 많은 논문을 발표한 것으로 나타났습니다. 미국의 선도적인 프런티어 연구소 (frontier labs)들이 가장 유능한 모델의 세부 사항을 점점 더 비밀로 유지하거나 "폐쇄형 소스 (closed sourced)"로 유지하는 반면, 중국의 선도적인 기업들은 "오픈 소스 (open-source)" 모델을 채택해 왔습니다. 이번 연구에 포함된 중국 스타트업 중 하나인 Moonshot AI는 최근 현재까지 가장 강력한 오픈 모델 중 하나인 Kimi K3를 공개했으며, 오늘 Hugging Face를 통해 모델 가중치를 공개적으로 출시했습니다.

하지만 모델이 오픈형이든 폐쇄형이든 관계없이, 점점 더 강력해지는 범용 AI (generalist AI)를 향한 빠른 속도는 UC 버클리(University of California, Berkeley)의 컴퓨터 과학자 Emma Pierson를 걱정하게 만듭니다. 그녀는 AI 연구가—자유롭게 공개되든 비밀로 유지되든—사이버 공격을 강화하는 것을 포함하여 심각한 사회적 및 안전 문제를 야기하는 모델의 가속화를 초래할 위험이 있다고 주장합니다. 그녀는 "만약 우리가 암을 치료하는 AI를 향해 달려가고 있다면, 저는 '환상적이다, 전속력으로 나아가라'라고 말했을 것입니다"라고 말합니다. "하지만 우리가 달려가고 있는 것은 그것이 아니지 않습니까?"

업데이트, 7월 29일 오전 9:40: 이 기사는 Emma Pierson의 견해를 명확히 하기 위해 수정되었습니다.

Science의 AI in Science 보도 이니셔티브는 Ray Rothrock 및 가족의 후원을 받습니다.