‘요청을 수행할 수 없습니다’를 넘어서: 레이블 강화를 통한 LLM의 경직된 거부 완화

요약

본 논문은 LLM이 안전 정렬 과정에서 발생하는 '경직된 거부' 문제를 해결하기 위해 LANCE(Label-enhanced Natural Conversation Engine)를 제안합니다. LANCE는 변분 추론을 사용하여 여러 거부 카테원에 걸쳐 연속적인 분포를 예측하고, 이를 통해 다중 방향 텍스트 기울기를 생성합니다. 이 메커니즘은 LLM이 안전성을 유지하면서도 자연스럽고 유연한 응답을 생성하도록 도와, 기존의 경직된 거부 문제를 크게 완화시킵니다.

핵심 포인트

• LLM의 전통적인 안전 정렬 방식은 '경직된 거부'를 초래하여 사용자 경험을 저해하는 문제가 있습니다.
• LANCE는 변분 추론(variational inference)을 활용하여 위험 요소에 대한 세밀하고 연속적인 거부 분포를 예측합니다.
• 이러한 분포는 LLM에게 다중 방향 텍스트 기울기를 제공하여, 안전성을 유지하면서도 자연스러운 응답 생성이 가능하게 합니다.
• 실험 결과, LANCE는 높은 보안 기준을 충족시키면서 기존 모델 대비 도움성 및 응답의 자연성 측면에서 우수한 성능을 보였습니다.