ICML 이 일관된 긍정적 평가를 받은 논문을 많이 기각하는 것 같습니다 [D]

제 논문 (Rebuttal 전 4443 점, 현재 4444 점) 은 예상대로 기각되었습니다.

결정 결과가 발표되기 며칠 전에 작성한 답변을 그대로转贴합니다:

올해 ICML 리뷰의 인센티브 구조에 불일치가 있는 것 같습니다. Rebuttal 단계는 심사위원들이 자신의 점수를 재고하도록 강하게 장려하고 있으며, 이는 좋은 동기부여입니다. 그러나 실제로는 왜곡된 역학을 만들어냅니다. AC 들은 심사위원들 간의 평점 균일성을 추구합니다. 심사위원으로서 저는 토론이 길어지는 것을 피하기 위해 점수를 높이는 압력을 느낍니다. 저는 참여하지 않은 많은 심사위원들이 토론을 끝내기 위해 단순히 점수를 올리는 경우가 있을 것이라 생각합니다.

동시에, 초기에 긍정적인 평가를 받은 심사위원들은 우려 사항이 해결되더라도 자신의 점수를 업데이트하는 데 소극적인 듯합니다. "Rebuttal 에 감사드립니다. 이 논문은 가치 있습니다. Rebuttal 은 저의 모든 우려를 해소했습니다." (논문을 직접 지목하지 않도록 재구성) 라는 리뷰를 목격했습니다. 그럼에도 불구하고 점수는 여전히 4 점으로 유지되었습니다.

이제 점수가 인플레이션되고 컨퍼런스의 수용 능력이 제한적이기 때문에 불안해집니다 (이제 제가 옳았음을 알았습니다!). 며칠 내에 NeurIPS 의 작년과 마찬가지로, 일관된 긍정적 평가를 받은 많은 논문들이 기각될 수 있습니다.

저는 동료 검토가 원래처럼 돌아가기를 선호합니다: 심사위원들은 정직하고 독립적인 평가를 제공하고, AC 는 그 품질과 일관성을 평가하며, 경계선 사례는 AC 의 토론을 통해 해결됩니다. 현재의 메커니즘은 불필요하게 복잡해 보이며, 이미 나쁜 상황을 더욱 악화시키고 있습니다.