“어쩌면 진짜 AGI는 우리가 그 과정에서 사귄 친구들이었을지도 몰라”라는 문장은 항상 제 마음을 울리는 정서이며, 컨퍼런스(Conference)는 옛 친구들과 재회하고 새로운 친구들을 만나는 장소입니다. 하지만 제출/리뷰 경험에 있어서는, 거의 모든 사람이 공유할 만한 불쾌한 경험을 많이 가지고 있다고 해도 과언이 아닐 것입니다.

그래서 저는 이 문제를 논의하기 위해 포지션 페이퍼(Position paper)를 작성했습니다. 저는 현재의 컨퍼런스 주최측이 리뷰어(Reviewer)/저자(Author)/AC(Area Chair)/SAC(Senior Area Chair)들에게 책임감과 인센티브를 부여할 적절한 도구가 부족하다고 주장합니다. 그 결과, 원치 않는 행동(예: 참여 부족)은 종종 제지되지 않는 반면, 좋은 행동은 보상받는 경우가 거의 없어 결과적으로 발생하지 않게 됩니다(솔직히, 리뷰어/AC들 사이에서 건설적인 내부 토론이 이루어지는 것을 마지막으로 본 게 언제인가요?). 그리고 이는 리뷰어 가이드라인(Reviewer Guidelines)에 좋은 말을 적거나 몇 번의 데스크 리젝(Desk rejection)을 내린다고 해서 바뀌지 않을 것입니다.

저는 커뮤니티 구성원들이 “선행”을 통해 포인트를 얻는 크레딧 시스템(CREDIT SYSTEM)을 제안합니다. 예를 들어, 논문을 리뷰하면 +1점을 받고, 탁월한 성과를 내면 +3점을 받는 식입니다. 그런 다음, 구성원들은 이 포인트를 사용하여 기존 ML 컨퍼런스에서 이미 채택된 전통적인 혜택(예: 등록비 면제)부터, 모호한 상황을 해결하기 위해 추가 리뷰어를 요청하는 것과 같은 새로운 혜택에 이르기까지 다양한 특전을 교환할 수 있습니다. 이러한 시스템은 다음과 같은 탐색적인 아이디어들도 지원할 수 있습니다:

• 환불 가능한 제출 비용: 제출당 10포인트라고 가정하면, 제출물이 준비되지 않았거나 품질이 극도로 낮다고 만장일치로 투표되지 않는 한, 채택 여부와 관계없이 환불됩니다.
• 저자가 아닌 리뷰어 동원: 저자가 아닌 리뷰어는 저자와 리뷰어의 역할을 동시에 수행해야 하는 대역폭(Bandwidth) 문제에서 자유로우며, 자신의 제출물에 의해 영향을 받지 않습니다.

그리고 그 외에도 많이 있습니다...
제가 제안하는 시스템이 완벽과는 거리가 멀지만, 더 나은 컨퍼런스 리뷰 메커니즘을 향한 한 걸음이 될 수 있다고 생각합니다.

또한 포지션 페이퍼 트랙(position paper track)이 연구자들이 자신의 제안을 논의하고 더 나은 미래를 향해 나아갈 수 있는 환영받는 플랫폼이 되어가는 것을 보게 되어 기쁩니다 (아래의 다른 리뷰 관련 포지션 페이퍼들을 참조하세요).
ICML의 말 그대로 모든 사람에게 영향을 미치는 주제인 만큼, 여러분의 생각을 듣고 싶습니다.

제출자: /u/choHZ / 게시판: r/MachineLearning
[link] [comments]