현재 AI 연구 출판 과정에서는 논문 작성, 심사, 읽기·요약까지 AI가 맡고 있음
NeurIPS도 AI 보조 심사 실험을 진행 중이며, 주요 학회 논문이 너무 많아 사람이 모두 읽기는 불가능함
학술 출판 과정에서 인간이 매우 빠르게 자동화로 밀려나는 중임

인간을 출판 과정에서 없애기보다 저질 논문의 대량 생산을 자동화하고 있다고 봄
최근 EMNLP 심사에서도 비슷한 일을 겪었으며, AI는 아직 연구의 품질을 판단할 수준과 거리가 멂
정직한 동료 심사라는 공공재가 남용되고 있지만, 극단적인 사회적 점수제로 심사 시스템 접근을 제한하는 것 외에는 뚜렷한 해결책이 없어 보임

다음 단계는 AI가 운영하는 저널이 다른 AI에게 구독료를 받고, AI가 운영하는 대학이 논문과 인용이 가장 많은 AI를 승진시키는 것일 듯함

AI 사용이 탐지된 논문도 여전히 채택됐다는 점이 중요함
연구자 대다수가 AI를 적극 활용하므로 이를 처벌하거나 자신들까지 불리해질 환경을 만들고 싶어 하지 않으며, 분위기는 대체로 걱정 말고 받아들이라는 쪽임
결국 처음부터 과학 자체를 진지하게 중시한 사람이 거의 없었다는 가혹한 현실이 드러남

식품 사막과 비슷한 추론 사막(reasoning deserts) 을 생각하게 됨
경제적 계산 때문에 인간의 건강과 번영에 필요한 실제 구성 요소 없이 겉모습만 비슷한 대체물이 공급되는 공간을 뜻함

인간을 자동화로 몰아내는 게 아니라 학계 자체를 무의미하게 만들고 있음
이것이 학계의 일반적인 모습이라면 연구비 삭감을 주장하는 쪽에도 공감하게 됨

이는 출판하지 않으면 도태되는 체제의 논리적 귀결임
이 체제를 없애면 문제도 대부분 사라질 것이며, 관리자들이 단순한 지표를 원하더라도 연구에는 그런 지표가 없음

과학의 출판 실적은 소프트웨어 개발에서 작성한 코드 줄 수를 재는 것과 같음
기술 부채까지 똑같아서 논문은 셀 수 없이 많지만, 대부분 재현되지 않을 가능성이 높고 어느 논문이 그런지는 모름

그렇다면 복잡하더라도 쓸 만한 연구 평가 지표가 있는지 의문임
출판·인용 실적은 조작될 수 있지만 구체적이고, 인용이 많은 논문은 대체로 유용해 저자에게 보상이 돌아감
이를 없애고 더 나은 대안을 마련하지 못하면 지금보다도 더 인맥과 말솜씨에 좌우될 수 있음

교수는 이미 논문 외에도 강의, 봉사, 위원회 운영, 대학원생 지도·졸업 같은 여러 요건을 충족해야 하며, 모두 종신재직권 심사에 반영됨

AI가 만든 오류를 그대로 제출하는 행위는 표절에 준하는 위반으로 취급하고 비슷한 처벌을 내려야 한다고 봄

AI 사용을 정직하게 공개하지 않으면 저널 투고를 1년 이상 금지하는 정책이 이미 도입되는 것으로 알며, arXiv도 비슷한 방향인 듯함
공개 여부와 과도한 사용은 다르지만, 환각과 오류조차 확인하지 않았다면 AI보다 무능과 게으름이 본질적인 문제임

arXiv 월별 제출 통계는 로그 척도로 바꾸는 편이 나을 듯함
2027년 학계가 Moltbook처럼 변할 수도 있어 보임

로그 증가 추세가 LLM 논문 시대 전부터 시작됐다면, 단지 arXiv 사전 공개의 인기 증가를 반영한다고 순진하게 기대해볼 수도 있음

방향 자체는 맞지만 분야와 세부 분야마다 상황이 크게 다름
저질 논문은 화려하고 큰 주제에 집중되고 특히 기계학습 분야가 심각하지만, 중요하면서도 틈새에 속해 아직 이런 저자들이 건드리지 않는 주제도 많음
그런 분야는 여전히 진지한 연구자들이 주도하지만, 직접 공부하지 않으면 존재를 알기 어려움

이는 학계가 논문과 저널의 공개 접근성을 진지하게 다루지 않은 부작용임
논문이 저널의 접근 제한에 막히지 않았다면 인용된 논문과 인용문의 존재 여부 정도는 쉽게 검증할 수 있음

학계보다 출판사들이 브랜드에 기대어 최대한 수익을 뽑으려는 게 문제임
동료 심사는 보상 없이 명성만 얻고 플랫폼과 출판사가 이익을 가져가는 Reddit 운영자 역할과 비슷함
저자가 출판비를 내고 다른 저자가 무료로 교정까지 해주는 구조이며, 학자들이 사전 공개본이나 인기 논문을 개인 웹사이트에 올리는 것은 자연스러운 선택임

논문의 존재 여부는 대부분 저널의 공개 색인, 저자·초록 정보, DOI 인용만으로 폐쇄형 저널에서도 쉽게 확인 가능함
다만 인용 내용이 실제 주장과 부합하는지 검증하려면 논문을 읽고 해석해야 하므로 공개 접근만으로 간단해지지는 않으며, AI로 1차 확인을 해도 매우 고된 작업임

이는 어느 집단에서나 반복되는 인간의 고질적인 실패를 보여줌. 누구도 자기 집을 청소하려 하지 않음

인용된 논문의 존재 여부는 이미 쉽게 확인 가능함

적어도 생의학 연구에서는 대부분 출판 즉시 또는 1년 뒤 공개 접근으로 전환됨

학회에 논문을 제출하면 4~5편을 의무적으로 심사해야 한다는 게 사실인지 의문임
제대로 된 논문도 출처와 전문성을 알 수 없는 사람들에게 강제로 심사받는 셈임

사실이며 4~5편도 적게 잡은 수치임
나는 7편을 강제로 심사했고, 3만 편 중 원하는 논문 30편에 지원했지만 하나도 배정받지 못한 채 충분한 전문성이 없는 논문 7편을 맡았음

ACL 계열 학회에서는 완전히 무작위인 사람은 아니며, 주요 ACL 행사나 Findings에 논문 2편 이상과 ACL Anthology 또는 주요 ML·AI 학회에 추가 논문 1편 이상을 낸 저자여야 함
하지만 제출 논문은 계속 늘고 자원봉사 심사자는 부족해 의무 심사가 실제로 시행되고 있음: 심사 인센티브 기준

처음에는 Caleb과 Isaac이 출판 논문에서 AI 사용을 탐지하는 두 알고리즘 이름인 줄 알았지만, 실제로는 AI의 도움을 받아 글을 쓴 두 저자의 이름이었음
두 사람이 서로 다른 판정을 내렸다면 각자 문제로 표시한 논문이 얼마나 겹쳤는지 궁금함

아직 알파 단계지만 몇 주 뒤 Show HN 공개를 목표로 인용 검증 애플리케이션https://veruscite-data.com/을 개발 중임
생성형 AI 도구에 익숙한 사람은 글에서 Caleb과 Isaac이 제공한 기능을 직접 써도 되지만, 이 도구는 토큰 효율이 더 높고 추출한 참고문헌을 검토·수정하기 쉬운 GUI를 제공함