AI가 추측하고 있음을 알 수 있게 하는 방법

이런 상황을 상상해 보세요: AI에게 질문을 합니다. AI는 침착하고 자신감 있는 목소리로 답변합니다. 당신은 그것을 신뢰하지만, 어느 날 한 세부 사항이 꾸며냈다는 것을 발견하게 됩니다. AI 환각(hallucination)의 위험한 부분은 단지 틀렸다는 것만이 아닙니다. 그 답이 종종 완전히 확신에 찬 것처럼 들린다는 것입니다.

새로운 연구 논문은 유용한 질문을 던집니다. 만약 우리가 문장을 완성하기 전에 AI가 불확실해지는 것을 볼 수 있다면 어떨까? 연구자들은 자신들의 아이디어를 _InnerExpert_라고 부릅니다. 이는 일종의 AI 모델 내부를 들여다보고, 모델 자체의 내부 전문가들 간의 의견 불일치를 조기 경고 신호로 사용하는 방식입니다.

먼저, 전문가들로 가득 찬 방을 상상해 보세요

최신 AI 모델 중 일부는 **Mixture-of-Experts (MoE)**라는 설계를 사용합니다. 이름은 복잡하게 들리지만, 아이디어 자체는 친숙합니다.

수십 명의 편집자가 있는 뉴스룸을 상상해 보세요. 한 편집자는 역사에 능통하고, 다른 편집자는 의학 지식이 있습니다. 또 다른 편집자는 코딩에 뛰어납니다. 질문이 도착했을 때, 교통 관리자는 모든 사람을 깨우지 않습니다. 대신, 가장 도움이 될 가능성이 높은 소수의 편집자들에게만 질문을 보냅니다.

MoE 모델은 대략 이런 방식으로 작동합니다. 텍스트 조각마다 라우터(router)가 내부 전문가들 중 작은 그룹을 선택합니다. 이 전문가들이 그 조각에 대해 작업하고, 모델은 그들의 신호를 결합하여 다음 단어를 선택합니다.

A simple diagram of an AI router sending tokens to a small group of experts — ayraix.com editorial

MoE 모델은 매번 모든 전문가에게 질문하는 것이 아닙니다. 라우터가 작은 그룹을 선택하고, 그 선택 자체가 단서를 남깁니다.

이제 의견 불일치를 들어보세요

대부분의 AI 시스템은 이 내부적인 논의를 숨깁니다. 사용자는 최종 문장만 볼 수 있습니다. 하지만 답변이 생성되는 동안 라우터는 이미 유용한 단서들을 만들어내고 있습니다.

• 라우터 불확실성 (Router uncertainty): 교통 관리자가 어떤 전문가들이 텍스트를 처리해야 할지 확신하지 못하는 경우.
• 전문가 의견 불일치 (Expert disagreement): 선택된 전문가들이 동일한 내부 결론에 도달하지 못하는 경우.

InnerExpert는 이러한 단서들을 경고 점수(warning score)로 변환합니다. 이는 다음 단어가 틀렸음을 증명하는 것은 아닙니다. 대신, 본질적으로 ‘모델 자체의 전문가들이 이 부분에 대해 확신하지 못하고 있으니, 이 부분을 확인해 보세요’라고 알려주는 것입니다.

구체적인 예시

고객 지원 AI가 제품 반품에 관한 질문에 답변하는 상황을 가정해 봅시다.

‘제품은 30일 이내에 반품할 수 있습니다.’라는 문장에서는 모델의 내부 전문가들이 의견을 일치시킬 수 있습니다. 이때는 감지기가 조용히 유지됩니다.

그런 다음 모델이 ‘반품 라벨은 항상 무료이며, 환불금은 정확히 영업일 기준 2일 이내에 도착합니다’라고 계속 답변한다고 가정해 봅시다. 이러한 세부 정보가 회사 정책에 포함되어 있지 않을 수 있습니다. 만약 내부 전문가들이 서로 다른 방향으로 의견을 제시하기 시작한다면, InnerExpert는 해당 단어들을 검토 대상으로 표시할 수 있습니다.

이것은 마법 같은 팩트 체커(fact checker)가 아닙니다. 회사 정책을 스스로 알고 있는 것도 아닙니다. 이것은 자동차의 대시보드에 있는 경고등과 같습니다. 이 불빛은 운전자에게 엔진룸을 확인하라고 알려줄 뿐, 엔진 자체를 수리해주지는 않습니다.

A simple performance curve showing InnerExpert's reported hallucination-detection results — ayraix.com editorial

논문 테스트에서 이 경고 신호는 꾸며낸 답변들(made-up answers)과 신뢰할 수 있는 답변들을 효과적으로 분리해낼 수 있었습니다. 이는 보장 시스템이 아니라, 경고 시스템입니다.

연구자들이 발견한 것

본 논문은 5개의 데이터셋과 2가지 MoE 모델 설계에 이 방법을 테스트했습니다. 보고된 최고 결과는 0.91 답변 수준 AUROC와 0.76 토큰 수준 AUROC였습니다.

이 수치들을 해석할 필요가 있습니다. AUROC는 감지기가 위험한 답변을 안전한 답변보다 얼마나 잘 순위화하는지를 측정하는 방식입니다. 0.50점은 대략 무작위 추측에 해당합니다. 1.00점에 가까울수록 성능이 좋다는 의미입니다. 따라서 0.91이라는 것은 감지기가 위험한 답변을 가장 먼저 제시하는 데 자주 성공했다는 것을 의미합니다. 토큰 수준 점수는 답변 내의 의심스러운 조각들까지 지적할 수 있음을 뜻합니다.

중요한 엔지니어링 세부 사항은 비용입니다. 이 검출기는 모델이 질문을 통과하는 정상적인 신호를 읽습니다. 모든 답변을 판단하기 위해 두 번째 AI에게 요청하거나 비교를 위해 열 개의 추가 답변을 생성할 필요가 없습니다.

실제 제품에서 중요할 수 있는 이유

오늘날 팀들은 종종 세 가지 비싼 방법 중 하나로 AI 답변을 확인합니다:

• 다른 모델에게 첫 번째 모델을 검토하도록 요청하는 것.
• 모델에게 같은 질문을 여러 번 요청하고 답변을 비교하는 것.
• 데이터베이스를 검색하여 모든 주장을 검색된 문서와 비교하는 것.

이러한 방법들은 유용할 수 있지만, 시간과 비용을 추가하고 실패할 새로운 방법을 만듭니다. InnerExpert는 네 번째 옵션을 제안합니다. 즉, 모델 자체의 내부적인 망설임을 안전 시스템의 일부로 만드는 것입니다.

지원 챗봇의 경우, 이는 불확실한 문장만 인간에게 전송하는 것을 의미할 수 있습니다. 연구 보조원의 경우, “이 주장을 확인해 주세요”라는 라벨을 추가하는 것을 의미할 수 있습니다. 데이터베이스를 변경할 수 있는 에이전트의 경우, 더 강력한 검사를 통과할 때까지 작업을 중단하는 것을 의미할 수 있습니다.

Extreme close-up of a car's instrument cluster at night, an amber warning light glowing on the dashboard — the early-warning light this detector is compared to

유용한 패턴은 간단합니다. 모델이 답변하고, 내부 시스템이 의견 불일치 시 경고를 발생시키며, 제품이 재검토가 필요한 것을 결정하는 것입니다.

이 논문이 증명하지 않는 것

InnerExpert는 환각(hallucination)을 사라지게 만들지 않습니다. 자신감 있는 모델도 여전히 틀릴 수 있고, 불확실한 모델도 여전히 맞을 수 있습니다. 이 논문은 모든 사람이 사용하는 모든 모델이 아닌 두 가지 MoE 아키텍처에서 테스트된 초기 연구 결과입니다.

또한 검출기는 다른 AI 심사위원이 생성한 라벨로부터 학습했습니다. 이는 프로세스를 수동 라벨링보다 저렴하게 유지하지만, 심사위원의 실수가 검출기에 영향을 미칠 수 있다는 것을 의미합니다. 독립적인 테스트, 더 많은 모델 패밀리, 그리고 프로덕션 실험이 여전히 필요합니다.

더 큰 아이디어

가장 흥미로운 부분은 InnerExpert라는 이름이나 심지어 0.91이라는 점수가 아닙니다. 방향성입니다: 시스템의 신뢰도에 의존하기보다 시스템 내부에서 증거를 찾으세요.

증명 보조기(proof assistant)는 수학적 단계가 유효한지 확인할 수 있습니다. 에이전트 평가(agent eval)는 위험한 도구 호출을 차단할 수 있습니다. 이 연구는 MoE 모델이 사실을 지어내기 전에 자체적인 내부 불일치(internal disagreement)를 노출할 수 있는지 묻습니다. 다른 도구들이 같은 목표를 가집니다: 사람들에게 검사할 만한 구체적인 것을 제공하는 것입니다.

하나만 기억한다면: AI의 매끄러운 글쓰기가 그 답을 안다는 증거는 아닙니다. 하지만 내부 전문가들 간에 불일치가 있다면, 그 불일치는 우리가 속도를 늦추고 확인해 볼 수 있는 저렴한 신호(cheap signal)를 줄 수 있습니다.

원문 출판: ayraix.com, 기업 빌더를 위한 실용적인 AI.