학업 부정행위를 유도하는 프로그램에 대한 우려 제기

OpenReview를 둘러보다가 Kevin Zhu [https://openreview.net/profile?id=~Kevin_Zhu3]라는 사람을 알게 되었습니다. 158개의 논문과 468명의 공동 저자를 보고 인상 깊게 생각했고, 궁금해서 그의 소속 기관(https://algoverseairesearch.org/)을 검색해 보았습니다.

알고 보니 그곳은 유료 프로그램이었으며, 가장 흥미로운 점은 고등학생들을 대상으로 마케팅되고 있다는 것입니다. 그들은 Neurips 출판물로 보이는 논문들이 한 섹션에 가득합니다 (웹사이트에는 '289 Algoverse Students Accepted to NeurIPS 2025'라고 명시되어 있습니다). 저는 원래 Neurips 워크숍의 엄격함에 대해 알지 못했기에, 매우 충격을 받았습니다.

그들의 논문 네 편을 하나씩 살펴보았습니다. 모든 논문에는 PDF를 열어 한 번 읽기만 하면 발견할 수 있는 오류들이 있었습니다. 어떻게 이런 것들이 심지어 워크숍 단계의 리뷰어들에게도 걸러지지 않는지 완전히 이해가 가지 않습니다.

[https://openreview.net/forum?id=21pxWVRoPL] - 부록 표 6.5와 6.6은

https://openreview.net/pdf?id=0BYRYwGCbK - 인간의 검토 (human review)를 거쳤다고 주장하는 데이터셋 내의 손상된 프롬프트 (broken prompts). 결과는 초록 (abstract)의 내용과 정반대입니다. 초록에서는 이 연구가 "아첨 (sycophancy)을 유도하는 새로운 방법을 밝혀낸다"고 주장합니다. 하지만 이어서 보여주는 결과에 따르면, 대부분의 수정어 (modifiers)는 수정되지 않은 대조군 (unmodified control)과 거의 동일한 성능(91-95% 정확도)을 보입니다. 게다가, 인용 문헌 (citations) 또한 잘못된 저자, 잘못된 형식 등 AI가 생성한 것으로 보이는 허위 인용을 포함하고 있습니다. 흥란하게도, **Kevin Zhu에 의한 미공개 자기 인용 (undisclosed self-citation)**이 발견되었습니다.

https://openreview.net/pdf?id=VcRUAT5G8I - 두 가지 기초적인 방법론이 잘못된 논문에 귀속되어 있습니다. 잘 알려진 두 가지 방법론인 TIES merging와 Task Arithmetic이 소개되었으나 전혀 인용되지 않았습니다. 마찬가지로 AI가 생성한 인용 문헌들이 발견되었으며, 이제 내용에 대해서는 언급조차 하지 않겠습니다.

https://openreview.net/pdf?id=It7AgR3A9H - 저자는 11명이지만, 기여도는 제로입니다.

제가 아무런 순서 없이 무작위로 클릭한 네 편의 논문 모두가 동일한 템플릿을 따르고 있습니다: 기존 방법론 채택 $\rightarrow$ AI가 수행했을 것으로 보이는 약간의 변형을 가해 실행 $\rightarrow$ Kevin Zhu를 저자로 기재 $\rightarrow$ 워크숍 (workshop)에 제출.

이 논문들이 어떻게 어떤 형태의 동료 검토 (peer review) 과정도 통과할 수 있었는지 의문이며, 오늘에서야 워크숍의 기준이 얼마나 낮은지 알게 되었습니다.

게시 목적: 이러한 방식을 고등학생들에게 마케팅하며 Stanford나 MIT에 진학할 수 있다고 말하는 것은 화가 나는 일입니다. 16세 학생이 이를 보고 "3,325달러를 내면 NeurIPS 논문을 게재할 수 있구나"라고 생각하게 만듭니다. 그러고 나서 명백한 오류가 있는 논문을 게재하도록 방치합니다. 이는 학술적 부정직 (academic dishonesty)이지만, 아이들은 자신들이 부정행위를 저지르고 있다는 사실조차 모를 것이라 생각합니다.

Kevin Zhu는 출판되는 모든 논문에 자신의 이름을 올리고, 해당 논문들에서 자신을 자기 인용 (self-cite)하며, 학생들에게 3,325달러를 청구합니다.

저는 워크숍의 검토 과정이 얼마나 느슨한지 완전히 인지하지 못하고 있었으며, 왜 이런 일이 발생하는지 정말 알고 싶습니다.