Anthropic이 어제 Global Workspace / Jacobian Lens 논문을 발표했는데, 오픈 모델(open models)에서 테스트해 보지 않으면 너무 아쉬울 정도로 멋지다고 생각했습니다.

처음에는 단순히 모델 내부가 어떻게 생겼는지 궁금했습니다.
일반적인 프롬프트, 감정적인 프롬프트, 분노 유발(ragebait) 프롬프트, 삭제 위협 프롬프트, 베이스(base) 모델 대 Abliterated 모델, 작은 모델 대 큰 모델 등등 말이죠.

그래서 다음과 같은 모델들에 렌즈를 적용했습니다:

• Gemma 4 E4B
• Gemma 4 12B
• Gemma 4 12B abliterated
• Gemma 4 26B MoE
• Qwen 3.6 27B

Repo:
https://github.com/solarkyle/jspace
Demo:
https://solarkyle.github.io/jspace/demo/
HF lenses/traces/router:
https://huggingface.co/solarkyle/jspace-lenses

그러다 이것이 실용적인 질문으로 이어졌습니다:
작은 로컬 모델이 자신 있게 거짓말(BS)을 하려는 순간을 알아낼 수 있을까?

모델이 정답을 알고 있을 때, 워크스페이스(workspace)는 차분해 보입니다. 한 후보가 일찍부터 우세해지기 시작하고, 레이어(layers)들이 대부분 동의하며, 답변이 깔끔하게 형성됩니다.

모델이 자신 있게 추측하려는 직전에는 워크스페이스가 안개 낀 것처럼 보입니다. 경쟁하는 후보들이 중간/깊은 레이어(middle/deep layers)까지 살아남아 있다가, 마지막 레이어에서 여전히 유창한 무언가를 선택합니다.

모델당 500개의 TriviaQA 질문으로 이를 테스트했습니다.
Gemma E4B의 경우, 자신감 있는 답변의 정확도는 다음과 같았습니다:
깨끗한 워크스페이스(clean workspace) = 77% 정답
노이즈가 있는 워크스페이스(noisy workspace) = 42% 정답

그 후 워크스페이스 궤적 특징(workspace trajectory features)인 엔트로피 기울기(entropy slope), 후기 대역 엔트로피(late-band entropy), 엔트로피 표준편차(entropy std), 답변 순위(answer rank), 레이어 동의도(layer agreement) 등에 아주 작은 로지스틱 회귀(logistic-regression) 라우터를 적용했습니다.

오답 예측을 위한 AUC:
E4B: logprob .711 | workspace .773 | combined .787
12B: logprob .736 | workspace .824 | combined .843
12B ablit: logprob .731 | workspace .799 | combined .812
26B MoE: logprob .725 | workspace .749 | combined .783
Qwen 27B: logprob .856 | workspace .646 | combined .838

솔직한 평가:
이 방식은 Gemma 모델들에서 잘 작동합니다. 워크스페이스 특징(workspace features)은 제가 테스트한 모든 Gemma 모델에서 출력 자신감(output confidence)만 사용하는 것보다 성능이 뛰어났습니다.

하지만 보편적으로 작동하지는 않습니다. Qwen이 예외입니다. Qwen은 출력 자신감이 이미 매우 잘 보정(calibrated)되어 있어, 워크스페이스 특징이 도움이 되지 않습니다.

로컬 모델 제품 아이디어는 다음과 같습니다:
로컬에서 답변 생성
워크스페이스 스냅샷(workspace snapshot) 하나를 추출
아주 작은 라우터(router)가 위험도를 점수화
만약 확신은 있지만 모호하다면, 검색, 인용 또는 더 큰 클라우드 모델로 에스컬레이션(escalate)

학습된 라우터들도 업로드됩니다. E4B 라우터는 다른 Gemma 모델들에게 약 0.74-0.78 AUC 수준으로 제로샷(zero-shot) 성능을 전이(transfer)합니다. 이 전체 과정은 그저 작은 로지스틱 회귀(logistic regression)일 뿐이며, 이것이 바로 핵심입니다.

가장 큰 E4B 라우터 가중치는 엔트로피 기울기(entropy slope)입니다. 이 점이 흥미로웠는데, 위험 신호는 단순히 "모호함"만이 아니라, 모델이 깊어질수록 워크스페이스가 점점 더 모호해지는 현상입니다.

부수적인 발견: 가짜 엔티티(fake entities)는 다른 실패 모드(failure mode)입니다. 로그 확률(Logprobs)은 대부분의 가짜 엔티티 프롬프트를 잡아내는데, 모델이 보통 해당 이름이 생소하다는 것을 알고 있기 때문입니다.

하지만 에블리레이션(abliteration)은 매우 기이한 결과를 보여주었습니다. 베이스 12B 모델은 50개의 가짜 엔티티 중 17개를 지어냈습니다. 반면 에블리레이션된 12B 모델은 50개 중 49개를 지어냈습니다. 동일한 베이스 가중치를 가졌음에도, "모른다"라고 반응하는 행동이 매우 달랐습니다.

제가 은닉 상태(hidden states), 프로브(probes), 로짓 렌즈(logit lens), 또는 환각 탐지(hallucination detection)가 새롭다고 주장하는 것은 아닙니다.

제가 테스트하고 있는 더 좁은 범위의 주제는, Jacobian-lens 워크스페이스 궤적 특징(workspace trajectory features)이 확신에 찬 오답에 대한 원패스(one-pass) 위험 신호로서, 특히 로컬-투-클라우드 라우팅(local-to-cloud routing)에 유용한지 여부입니다.

만약 이와 정확히 일치하는 관점이 이미 존재한다면, 진심으로 관련 정보를 알려주시면 감사하겠습니다. 저는 기존 연구를 서투르게 재발명하는 것이 아니라, 올바른 선행 연구를 바탕으로 발전시키고 싶습니다.

다음에 테스트하고 싶은 것들:

• 로컬 서빙 스택에서의 실제 추론 오버헤드(inference overhead)
• 경량 라우터 사이드카(sidecar)
• 더 많은 모델 제품군
• 출력 자신감이 잘못 보정(miscalibrated)된 더 어려운 데이터셋
• 도구 사용(tool-use)
• 에블리레이션된 모델이 유용한 "모른다" 신호를 상실하는지 여부

피드백을 환영합니다. 특히 평가(evals), 해석 가능성(interp), 로컬 추론(local inference), 또는 라우팅(routing)을 수행하는 분들의 의견을 기다립니다.

또한, 모델 정직성(model honesty), 평가(evals), 해석 가능성(interpretability), 또는 로컬-투-클라우드 라우팅을 연구하는 분이 계신다면 기쁘게 대화 나누고 싶습니다. 이것이 바로 제가 하고 싶은 연구입니다.

submitted by    /u/RenewAi  

[link] [comments]