[MIT] RLCR: AI 모델에게 "잘 모르겠습니다"라고 말하도록 가르치기

요약

MIT CSAIL 연구진은 AI 모델이 정답 여부와 상관없이 지나치게 확신에 찬 답변을 내놓는 과잉 확신(overconfidence) 문제를 해결하는 방법을 개발했습니다. 이 연구는 모델의 정확도를 유지하면서도 모르는 질문에 대해 '잘 모르겠습니다'라고 답변할 수 있도록 학습시키는 RLCR 방식을 제안합니다.

핵심 포인트

• 현재의 추론 모델들은 정답과 추측을 구분하지 않고 지나치게 확신에 찬 태도를 보이는 경향이 있음
• 과잉 확신 문제는 모델의 학습 방식에 존재하는 특정 결함에서 기인함
• 정확도를 희생하지 않으면서도 모델이 자신의 불확실성을 인지하도록 학습 가능함
• MIT CSAIL 연구진이 개발한 RLCR 기술을 통해 모델의 신뢰성 향상 가능