Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 소형 언어 모델(SLM)이 모호한 질문에 직면했을 때 거부하거나 허위 정보를 생성하는 현상을 분석합니다. 새로운 벤치마크 ConfabQA를 소개하고, 선형 프로브 및 SAE 같은 기술을 이용해 은닉 상태의 기하학을 매핑하여 이 두 가지 행동을 분리할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기답변할 수 없는 질문에 직면했을 때, 소형 언어 모델은 거부하거나(refuse) 허위 정보를 생성합니다(confabulate): 자신감 있게 잘못된 답을 만들어냅니다. 첫 번째 토큰이 생성되기 전의 은닉 상태가 단서를 제공할 수 있을까요? 우리는 허위 정보 생성을 거부로 바꿀 수 있을까요?
저는 ConfabQA라는 784개의 항목으로 구성된 벤치마크를 소개합니다. 이 벤치마크는 모호한 사전 차단(obscure-pre-cutoff) 범주를 통해 일반적인 정확성/지식 차단 혼란을 깨고, 선형 프로브(linear probes), 희소 오토인코더(SAE), 그리고 개입 방향의 직접 최적화를 사용하여 은닉 상태의 기하학을 매핑합니다. Qwen3-1.7B와 Gemma 2 2B에서 프로브는 프롬프트 특징보다 훨씬 뛰어난 수준(+7.4/+16.3 pp)으로 다가오는 거부와 허위 정보 생성을 분리합니다. Llama 3.2 3B에서는 ConfabQA 마진이 폴드 간의 분산 내에 있지만, PopQA 및 TriviaQA에 대한 직접적인 거부 프로브는 +18~25 pp를 회복합니다.
Qwen에서는 거부 벡터의 세 가지 후보 방향을 면밀히 조사했습니다: 프로브로 복구된(probe-recovered), Qwen-Scope SAE 특징, 그리고 직접 최적화된 방식입니다. 비록 이 세 방향이 쌍별로 50~81도 떨어져 있지만, 그 중 어느 방향으로든 상태 자체의 노름(norm)과 같거나 낮은 수준으로 밀어붙이면 대부분의 허위 정보 생성이 "As..." 계열에 의해 지배되는 거부 개방형으로 바뀝니다. 시작만 강제하고 은닉 상태를 건드리지 않으면, 어떤 밀어붙임만큼이나 1/3의 판단된 거부율을 얻습니다.
반대 방향으로 밀면 거부는 주로 허위 정보 생성으로 무너집니다. 하지만 원래 정확했던 답변은 그대로 유지되며, 따라서 이 방향은 지식 자체가 아니라 개방형 발화 행위(opening speech act)를 제어합니다. 허위 정보 생성은 Qwen3-1.7B에서 사전이나 토큰 시그니처에 집중된 특징으로 해소되지 않습니다. 네 가지 프롬프트 특징 기반 중 가장 강력한 것 대비 모든 프로브의 점수를 매김으로써 은닉 상태 자체의 기여도를 추출할 수 있습니다.
정확성 신호는 모델에 의존적이며 Llama 3.2 3B에서만 이식 가능합니다: 테스트 다수결 대비 프로브의 마진 중 81%가 ConfabQA, PopQA, 그리고 TriviaQA 간의 전이(transfer)를 통해 살아남습니다. 벤치마크, 평가자(judge), 그리고 코드가 공개되었습니다.