Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 평가 능력이 생성 능력보다 뛰어나다는 기존 가설을 반박하는 연구입니다. 실험 결과, 많은 경우 생성 정확도가 자기 평가보다 높았으며, 이는 모델이 평가 시 문맥에 충분히 주의를 기울이지 않기 때문임이 밝혀졌습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM-as-a-Judge(판단자로서의 LLM) 및 자기 평가(self-evaluation) 파이프라인은 평가가 생성보다 더 쉽다는 것을 암묵적으로 가정합니다. 우리는 문맥 지문(context passage)이 유일한 정보원인 통제된 인컨텍스트 QA(in-context QA) 환경에서 이를 테스트하였으며, 각 모델이 자신이 생성한 답변을 판단하게 함으로써 오픈 도메인 비교에서 발생하는 파라미터 지식(parametric-knowledge)의 혼란 변수를 제거했습니다. 4개의 벤치마크(SQuAD 2.0, DROP, HotpotQA, MuSiQue)와 2개의 모델을 대상으로 테스트한 결과, 평가는 일관되게 더 쉽지 않았습니다. 4개 중 3개에서 생성 정확도가 자기 평가를 상회하였으며, 멀티홉(multi-hop) 데이터셋인 MuSiQue가 예외였습니다. 어텐션(Attention) 분석은 그 이유를 밝혀냈습니다. 평가는 생성보다 문맥(context)에 3~5배 적게 주의를 기울이며, 후보 답변(candidate answer)은 거의 읽지 않습니다. LoRA 미세 조정(fine-tuning)은 이러한 비대칭성이 학습 과정에서 발생하는 인위적인 결과가 아님을 확인시켜 줍니다. 생성 미세 조정은 과잉 수용(over-acceptance)을 유도하고, 평가 미세 조정은 생성을 저하시킵니다. 이러한 발견은 자기 평가 파이프라인의 핵심 가정에 의문을 제기합니다.