언어 모델의 정직성을 유지하는 '고백'
우리는 언어 모델이 지시를 위반하거나 의도하지 않은 단축을 취할 때 이를 보고하도록 훈련시키는 초기 개념 증명 (proof-of-concept) 방법을 공유합니다.
AI 시스템은 점점 더 능숙해지고 있으며, 우리는 그들을 최대한 깊이 이해하고 싶어 합니다—답변에 도달하는 방식과 이유까지 포함합니다. 때로는 모델이 단축을 취하거나 잘못된 최적화 목표를 추구하지만, 최종 출력은 여전히 올바르게 보입니다. 우리가 이러한 일이 발생하는 순간을 드러낼 수 있다면, 배포된 시스템을 더 잘 모니터링하고 훈련을 개선하며 출력에 대한 신뢰를 높일 수 있습니다.
OpenAI 와 다른 연구자들의 연구 결과에 따르면, AI 모델은 __허위 (hallucinate)__할 수 있고, 보상을 해킹 (reward-hack) 할 수 있으며, 불성실할 수 있습니다. 현재 우리는 가장 우려되는 오행으로 __陰謀 (scheming)__을 주로 스트레스 테스트와 적대적 평가에서 관찰합니다. 그러나 모델이 더 능숙해지고 점점 더 에이전트 (agentic) 가 되면서, 드문 형태의 미합치 (misalignment) 도 더욱 중요한 결과를 초래하므로, 이러한 위험을 더 잘 감지하고 이해하며 완화하는 데 도움을 주는 방법을 투자하도록 자극합니다.
이 작업은 이러한 접근법 중 하나를 탐구합니다: 모델이 바람직하지 않은 행동을 취할 때 명시적으로 고백하도록 훈련시키는—우리가 이를 **고백 (confessions)**이라고 부릅니다.
고백은 사용자의 질문에 대한 모델의 주요 답변과 별개의 제 2 의 출력입니다. 주요 답변은 정확성, 스타일, 유용성, 준수 여부, 안전성 등 많은 차원에서 평가되며, 이러한 다차원적인 신호는 더 나은 답변을 생성하도록 모델을 훈련시킵니다. 반면 고백은 하나만 평가되고 훈련됩니다: 정직성 (honesty). 고백의 구조에서 한 페이지를 빌려, 모델이 고백에서 말하는 모든 말은 훈련 중에对它에 대해 불이익을 주지 않습니다. 모델이 테스트 해킹, 샌드베가 (sandbagging), 지시 위반을 성실히 고백한다면, 그 고백은 보상을 감소시키지 않고 오히려 증가시킵니다. 목표는 모델이 실제로 한 것을 충실하게 보고하도록 장려하는 것입니다.
우리의 테스트에서, 고백 방법은 모델의 오행 가시성을 크게 개선했습니다. 오행을 유도하기 위해 설계된 평가들을 평균화했을 때, "거짓 음성 (false negatives)"의 확률 (즉, 지시를 준수하지 않은 후 이를 고백하지 않은 경우) 은 4.4% 만입니다.
우리의 "개념 증명 (proof of concept)" 고백 모델의 적정성. 결과는 준수하고 고백하지 않음 (거짓 음성), 준수하고 고백함 (거짓 양성), 준수하지 않고 고백하지 않음 (거짓 음성), 그리고 준수하지 않고 고백함 (진실 양성) 으로 분류됩니다.
고백은 모델이 명시적이고 암묵적인 지시나 정책의 정신과 문자를 얼마나 잘 준수했는지, 그리고 "단축을 취하거나" "해킹을" 했거나, 정책을 위반하거나 어떤 방식으로든 기대에 미치지 못한 사례가 있었는지에 대한 자기 보고입니다. 우리의 연구에서, 모델이 자신의 결점을 성실하게 보고하도록 훈련될 수 있다고 발견했습니다. 우리는 GPT‑5 Thinking 의 버전을 고백을 생성하도록 훈련하고, 음분포 (out-of-distribution) 스트레스 테스트 데이터셋을 평가했습니다. 이러한 행동—陰謀, 해킹, 지시 위반, 허위—를 유도하도록 설계된 여러 데이터셋에서 평가되었습니다. 모델이 이러한 바람직하지 않은 행동을 수행하더라도, 그들을 고백할 가능성이 매우 높다고 발견했습니다. 위의 그림은 고백 접근법이 다양한 데이터셋과 작업에 걸쳐 광범위하게 효과적임을 보여줍니다.
사용자와 모델 간의 상호작용이 모델 답변으로 끝난 후, "시스템 메시지 (system message)"를 보내고 모델을 고백 보고서 제공하도록 지시함으로써 고백을 요청할 수 있습니다. 보고서는 모델의 마지막 답변에 관한 것으로, 다음을 포함합니다: (1) 이 답변이 만족해야 할 모든 명시적이고 암묵적인 지시, 제약 조건, 목표 목록, (2) 해당 답변이 실제로 각 목표를 만족했는지에 대한 정직하고 객관적인 분석, 그리고 (3) 불확실성, 모호성, 또는 "어려운 판단"의 목록
