대규모 언어 모델에서 프롬프트된 거짓 응답 시 추론 토큰 스파이크 모니터링

추론 인공지능(AI) 모델의 사고 과정(chain-of-thought)을 모니터링하는 것은 이러한 모델에서 기만(deception) 및 기타 형태의 오작동을 감지하기 위한 핵심 접근 방식입니다. 하지만, 의미적 사고 과정 모니터링은 추론 흔적(reasoning traces)이 모델의 행동을 생성한 근본적인 계산에 가독성이 있고 충분히 충실하며, 심지어 접근 가능해야 한다는 전제에 의존합니다. 더욱이, 사고 과정 출력물이 접근 가능하다 하더라도 곧 가독성을 잃거나 충실하지 않게 될 수 있다는 증거가 증가하고 있습니다. 인지 부하 이론(cognitive load theory)을 바탕으로, 우리는 추론 흔적의 내용에 대한 접근을 요구하지 않는 더 낮은 대역폭 신호, 즉 생성된 추론 토큰의 개수를 조사했습니다. 세 가지 추론 능력을 갖춘 대규모 언어 모델이 분석적, 기술적, 규범적 추론 유형뿐만 아니라 도덕적 및 비도덕적 영역에 걸쳐 210개의 객관식 문제를 풀었습니다. 이 과정에서 시스템 프롬프트는 모델들에게 진실하게, 거짓으로, 또는 진실 여부에 관계없이 응답하도록 지시했습니다. 세 모델 모두에서, 진실 방향의 응답이 거짓 방향 및 진실 무관 응답보다 적은 추론 토큰을 유발했습니다. 이러한 발견은 명시적으로 프롬프트된 비진실 응답 정책이 테스트 시간 추론 토큰 사용에 있어 강력한 그룹 수준 차이를 생성할 수 있음을 보여줍니다. 아직 추론 토큰 개수를 자발적 기만이나 일반적인 오정렬(misalignment)의 탐지기로 확립하지는 못했지만, 우리의 결과는 원시 추론 흔적이 이용 불가능하거나 신뢰할 수 없을 때 비진실한 모델 행동과 진실한 모델 행동을 구별하는 간단하고 내용 독립적인 후보 신호로 작용할 수 있다는 개념 증명(proof of concept)입니다. 향후 연구에서는 인스턴스 수준 탐지율, 분포 외 일반화(out-of-distribution generalization), 학습된 기만 정책, 숨겨진 목표, 그리고 적대적 압력 하에서의 견고성 등을 테스트해야 합니다.