ICML 이 일관된 긍정적 평가를 받은 논문을 많이 기각하는 것 같습니다 [D]

요약

이 글은 ICML과 같은 주요 학회에서 논문 심사 과정의 구조적 문제점을 지적합니다. 특히 리뷰어들이 점수 균일성을 맞추려는 압박감 때문에 실제 평가와 다르게 점수를 부풀리거나, 긍정적인 피드백을 주었음에도 불구하고 점수 업데이트에 소극적이어서 발생하는 왜곡된 역학 관계를 비판합니다. 필자는 이러한 현상이 결국 일관되게 좋은 평가를 받은 논문들까지도 기각시키는 결과를 초래할 수 있다고 주장하며, 심사위원들이 정직하고 독립적인 평가를 제공하는 원래의 시스템으로 돌아가야 한다고 제언합니다.

핵심 포인트

• 학회 리뷰 과정에서 '평점 균일성'을 추구하려는 AC(Area Chair)의 압박이 왜곡된 심사 결과를 초래할 수 있다.
• 리뷰어들이 토론을 빨리 끝내기 위해 점수를 높이는 경향이 있으며, 이는 평가의 신뢰도를 떨어뜨린다.
• 초기에 긍정적이었던 리뷰어들조차 우려 사항이 해소되었음에도 불구하고 점수 업데이트에 소극적인 경우가 관찰된다.
• 현재의 복잡한 심사 메커니즘은 오히려 시스템을 악화시키고 있으며, 정직하고 독립적인 평가가 필요하다.