LLM을 사용하여 리뷰를 보조해 본 경험과, LLM이 생성한 텍스트에 크게 의존하는 것처럼 보이는 리뷰를 받아본 경험을 바탕으로, 저는 두 가지 반복되는 문제를 발견했습니다.

1. 통제되지 않은 변수에 대한 끝없는 탐색
   LLM은 명시적으로 통제되지 않은 추가적인 변수들을 식별하는 데 매우 능숙합니다. 문제는 이러한 변수들 중 상당수가 논문의 주요 결론을 바꿀 실질적인 가능성이 거의 없다는 점입니다.
   어떤 실험이든 잠재적인 교란 요인(confounders)의 거의 무한한 목록을 생성하는 것이 가능합니다. 예를 들어, 어떤 연구가 비료 A를 처리한 나무가 비료 B를 처리한 나무보다 더 잘 자란다는 것을 발견했다고 가정해 봅시다. LLM은 강우량이 완벽하게 통제되었는지, 나무 주변의 잔디 분포가 고려되었는지, 혹은 바람, 온도, 토양 미생물 및 수많은 다른 요인들이 격리되었는지 질문할 수 있습니다.
   각 질문은 개별적으로는 논리적으로 타당해 보일 수 있습니다. 하지만 진짜 문제는 변수가 존재하는지 여부가 아닙니다. 문제는 그 변수가 결론을 위협할 만큼 충분히 중요하고 타당한지 여부입니다.
   LLM은 일반적으로 이러한 우선순위 선정에 서툽니다. 이들은 종종 사소한 잔여 불확실성을 심각한 방법론적 약점처럼 들리게 변환하곤 합니다.
   리뷰어가 이러한 출력물을 그 중요성을 독립적으로 평가하지 않고 리뷰에 그대로 복사하여 붙여넣을 때 이는 특히 해로워집니다. 그러면 저자들은 기술적으로는 가능하지만 실질적으로는 무의미한 끝없는 우려 사항들을 해결하기 위해 반박(rebuttal)에 시간을 쏟아야만 합니다.
   리뷰는 상상할 수 있는 모든 변수가 통제되었는지를 물어서는 안 됩니다. 남아 있는 불확실성이 핵심 주장(central claim)을 실질적으로 약화시키는지를 물어야 합니다.

2. LLM 리뷰는 종종 지나치게 추상적임
   또 다른 흔한 문제는 특정 선행 방법론이 아닌 연구 분야 전체 수준에서의 비판입니다.

예를 들어, LLM은 제안된 방법론이 "Transformer의 방법론들과 충분히 다르지 않다"라고 주장할 수 있지만, 제안된 방법론과 실제로 겹치는 구체적인 논문, 목적(objective), 구조(architecture) 또는 학습 관계(learning relation)를 식별하지 못할 수 있습니다. 그런 상황에서 저자는 정확히 무엇을 반박해야 할까요? Transformer의 모든 방법론을 말입니까?

의미 있는 독창성(novelty) 비판은 특정 선행 방법론을 식별하고, 어떤 구성 요소가 동일하거나 충분히 차별화되지 않았는지 정확하게 설명해야 합니다. 하나의 구체적인 방법론을 연구 분야 전체와 비교하는 것은 반증 가능하거나 실행 가능하기에는 너무 추상적입니다.

3. LLM 리뷰는 세부적이지 않음
   LLM은 또한 높은 수준의 용어(high-level terminology)를 공유하는 방법론들 사이의 유사성을 과대평가하는 경향이 있습니다. 두 접근 방식 모두 구조(architecture), 개념(concept) 또는 어텐션(attention)을 사용할 수 있지만, 계산 구조(computational structure), 학습 목적(training objective), 가정(assumptions) 및 의도된 용도(intended use) 측면에서는 실질적으로 다를 수 있습니다.

LLM은 종종 각 방법론에 대한 충분히 상세한 이해가 부족하기 때문에, 표면적으로만 관련이 있는 논문들 간의 비교를 권장할 수 있습니다. 그 결과로 나온 리뷰는 포괄적으로 들릴 수는 있지만, 실제적인 기술적 이해를 보여주지는 못합니다.

핵심적인 문제는 단순히 LLM이 생성한 리뷰에 잘못된 진술이 포함될 수 있다는 점이 아닙니다. 그것은 LLM이 관련성, 심각성 또는 증거 부담(evidentiary burden)을 판단하지 않은 채, 표면적으로만 그럴듯한 비판을 무제한으로 생성할 수 있다는 점입니다.

훌륭한 리뷰어는 이러한 제안들을 걸러내고, 논문의 주장(claims)에 실질적으로 영향을 미칠 수 있는 우려 사항만을 우선순위에 두며, 각 비판을 구체적인 기술적 근거에 연결해야 합니다. 그러한 판단 없이 LLM의 응답을 리뷰에 그대로 복사하는 것은 피어 리뷰(peer review)를 개선하지 못합니다. 그것은 단지 LLM의 추측을 평가하는 비용을 저자에게 전가할 뿐입니다.
submitted by /u/Kwangryeol to r/MachineLearning
[link] [comments]