Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ICML 포지션 트랙을 통해 머신러닝 컨퍼런스의 리뷰 프로세스 개선을 위한 크레딧 시스템 도입을 제안합니다. 리뷰어와 저자에게 인센티브를 제공하여 책임감을 높이고 연구 생태계의 질을 향상시키고자 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기“어쩌면 진짜 AGI는 우리가 그 과정에서 사귄 친구들이었을지도 몰라”라는 문장은 항상 제 마음을 울리는 정서이며, 컨퍼런스(Conference)는 옛 친구들과 재회하고 새로운 친구들을 만나는 장소입니다. 하지만 제출/리뷰 경험에 있어서는, 거의 모든 사람이 공유할 만한 불쾌한 경험을 많이 가지고 있다고 해도 과언이 아닐 것입니다.
그래서 저는 이 문제를 논의하기 위해 포지션 페이퍼(Position paper)를 작성했습니다. 저는 현재의 컨퍼런스 주최측이 리뷰어(Reviewer)/저자(Author)/AC(Area Chair)/SAC(Senior Area Chair)들에게 책임감과 인센티브를 부여할 적절한 도구가 부족하다고 주장합니다. 그 결과, 원치 않는 행동(예: 참여 부족)은 종종 제지되지 않는 반면, 좋은 행동은 보상받는 경우가 거의 없어 결과적으로 발생하지 않게 됩니다(솔직히, 리뷰어/AC들 사이에서 건설적인 내부 토론이 이루어지는 것을 마지막으로 본 게 언제인가요?). 그리고 이는 리뷰어 가이드라인(Reviewer Guidelines)에 좋은 말을 적거나 몇 번의 데스크 리젝(Desk rejection)을 내린다고 해서 바뀌지 않을 것입니다.
저는 커뮤니티 구성원들이 “선행”을 통해 포인트를 얻는 크레딧 시스템(CREDIT SYSTEM)을 제안합니다. 예를 들어, 논문을 리뷰하면 +1점을 받고, 탁월한 성과를 내면 +3점을 받는 식입니다. 그런 다음, 구성원들은 이 포인트를 사용하여 기존 ML 컨퍼런스에서 이미 채택된 전통적인 혜택(예: 등록비 면제)부터, 모호한 상황을 해결하기 위해 추가 리뷰어를 요청하는 것과 같은 새로운 혜택에 이르기까지 다양한 특전을 교환할 수 있습니다. 이러한 시스템은 다음과 같은 탐색적인 아이디어들도 지원할 수 있습니다:
그리고 그 외에도 많이 있습니다...
제가 제안하는 시스템이 완벽과는 거리가 멀지만, 더 나은 컨퍼런스 리뷰 메커니즘을 향한 한 걸음이 될 수 있다고 생각합니다.
또한 포지션 페이퍼 트랙(position paper track)이 연구자들이 자신의 제안을 논의하고 더 나은 미래를 향해 나아갈 수 있는 환영받는 플랫폼이 되어가는 것을 보게 되어 기쁩니다 (아래의 다른 리뷰 관련 포지션 페이퍼들을 참조하세요).
ICML의 말 그대로 모든 사람에게 영향을 미치는 주제인 만큼, 여러분의 생각을 듣고 싶습니다.
제출자: /u/choHZ / 게시판: r/MachineLearning
[link] [comments]