명시적 신뢰도 목표를 위한 올바른 강화학습

원문 발행 2026. 10. 26. 18:05원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 연구는 LLM이 불확실할 때 부정확한 답변을 생성하는 문제를 해결하기 위해 명시적 신뢰도 목표(explicit confidence targets)를 다룹니다. 기존 RL 방법의 한계를 극복하고, 사용자가 지정한 최소 정확도 $p$에 맞춰 모델 행동을 조정하도록 훈련하는 RLEC을 제안합니다. 이를 통해 단일 LLM에서 세밀하고 직접적인 행동 교정 능력을 구현했습니다.

핵심 포인트

LLMs는 불확실할 때 부정확한 답변으로 신뢰성을 저해함.
RLEC은 명시적 신뢰도 목표를 위한 강화학습 방법론을 제시함.
다양한 벤치마크에서 일반 능력을 보존하며 경쟁력 있는 교정 성능을 달성함.
외부 시스템 없이도 세밀한 목표 제어가 가능한 것이 강점임.

대규모 언어 모델(LLMs)은 불확실할 때 그럴듯하지만 부정확한 답변을 생성할 수 있으며, 이는 사용자에게 오해를 주고 모델의 신뢰성을 떨어뜨릴 수 있습니다. 강화학습(RL)을 통해 모델이 답변을 거부하도록 훈련하는 것은 자연스러운 접근 방식이지만, 기존의 대부분 방법들은 고정된 오류 페널티를 사용하기 때문에 추론 시간(inference time)에 따라 달라지는 다양한 신뢰도 요구사항에 맞춰 행동을 조정할 수 없습니다. 본 연구에서는 extit{명시적 신뢰도 목표(explicit confidence targets)}를 다루는데, 이는 사용자가 프롬프트 내에서 특정 목표값 $p$를 지정하고 모델이 답변을 할지 아니면 거부할지를 직접 선택하며, 답변한 질문들 중에서 최소 정확도 $p$를 달성하는 것을 목표로 합니다. 하지만 단일 모델로 다양한 신뢰도 목표에 대응하도록 학습시키는 것은 어려움이 입증되었으며, 이전 시도는 서로 다른 목표값들을 구별하지 못했습니다. 우리는 이러한 실패가 두 가지 문제에서 비롯된다는 것을 보여줍니다: 첫째, $p$의 다른 값들을 구별하는 보상 신호가 최적화 과정 중 종종 손실되고, 둘째, 원래의 오류 페널티가 $p$가 1에 가까워질수록 무한히 증가한다는 것입니다. 우리는 RLEC (명시적 신뢰도 목표를 위한 강화학습(Reinforcement Learning with Explicit Confidence Targets))을 제안합니다. 이는 신뢰도 목표를 구별하는 데 필요한 학습 신호를 보존하고, 원하는 답변 조건을 변하지 않게 유지하는 안정적인 보상 계열을 도입하며, 효과적인 학습과 훈련 안정성을 균형 있게 맞추기 위해 보상 스케줄링(reward scheduling)을 사용합니다. 이러한 설계들을 통해, 단일 LLM에 대해 명시적 신뢰도 목표 제어 훈련에 성공한 최초의 사례를 구현했습니다. 다양한 벤치마크와 모델 규모 전반에 걸친 광범위한 실험들은 RLEC이 일반적인 능력을 크게 보존하며 경쟁력 있는 교정 성능(calibration performance)을 달성함을 보여줍니다. 또한, RLEC은 훈련 후 외부 결정 시스템이나 임계값 교정 없이도 세밀한 목표 제어를 지원합니다. 명시적 신뢰도 목표를 훈련된 정책의 일부로 만듦으로써, RLEC은 행동 교정(behavioral calibration)을 향한 새롭고 더 직접적인 경로를 열어줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

명시적 신뢰도 목표를 위한 올바른 강화학습

요약

핵심 포인트

댓글