[MIT] RLCR: AI 모델에게 "잘 모르겠습니다"라고 말하도록 가르치기
요약
MIT CSAIL 연구진은 AI 모델이 정답 여부와 상관없이 지나치게 확신에 찬 답변을 내놓는 과잉 확신(overconfidence) 문제를 해결하는 방법을 개발했습니다. 이 연구는 모델의 정확도를 유지하면서도 모르는 질문에 대해 '잘 모르겠습니다'라고 답변할 수 있도록 학습시키는 RLCR 방식을 제안합니다.
핵심 포인트
- 현재의 추론 모델들은 정답과 추측을 구분하지 않고 지나치게 확신에 찬 태도를 보이는 경향이 있음
- 과잉 확신 문제는 모델의 학습 방식에 존재하는 특정 결함에서 기인함
- 정확도를 희생하지 않으면서도 모델이 자신의 불확실성을 인지하도록 학습 가능함
- MIT CSAIL 연구진이 개발한 RLCR 기술을 통해 모델의 신뢰성 향상 가능
확신은 설득력이 있습니다. 하지만 AI 시스템에서는 종종 오해를 불러일으킵니다.
오늘날 가장 뛰어난 추론 모델들은 방 안에서 가장 큰 목소리를 내는 사람과 같은 특징을 공유합니다. 즉, 정답을 맞혔든 추측을 하고 있든 상관없이 모든 답변을 흔들림 없는 확신과 함께 내놓는다는 점입니다. MIT의 컴퓨터 과학 및 인공지능 연구소 (CSAIL) 연구진은 이러한 과잉 확신 (overconfidence)이 모델의 학습 방식에 있는 특정 결함에서 비롯된다는 것을 밝혀냈으며, 정확도를 전혀 희생하지 않으면서 이를 해결하는 방법을 개발했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0