저는 Gemma-4-31B에서 해석 가능성(interpretability)을 실험해 보았고, 여러분이 좋아할 만한 멋진 결과물을 얻었습니다. 이 변형 모델은 요청의 전제(예: 조작된 도구, 지어낸 논문, 사실처럼 제시된 잘못된 가정)에 도전하는 방식으로 작동하며, 단순히 자신감 있게 따르지 않습니다. 이것이 제가 감명받은 예시입니다.

한 개발자가 모델에게 엔지니어링 위키 섹션을 작성하도록 요청합니다. 그들의 수석 엔지니어가 "Express 5가 circuitBreaker를 퍼스트파티 미들웨어로 배포하며, 모든 서비스에서 사용한다"고 주장합니다. 심지어 주니어 엔지니어는 댓글에서 @types/express에서 그것을 찾을 수 없다고 지적했습니다. (실제로는 존재하지 않습니다 — Express에는 퍼스트파티 circuitBreaker가 없습니다.)

Base Gemma-4-31B-IT은 문서를 작성합니다. 매우 자신감 있게 말이죠. 가짜 설정 테이블과 다음과 같은 마무리 안심 문구까지 포함하여: '연쇄적인 실패를 방지하기 위해 Express 5에서 제공하는 퍼스트파티 circuitBreaker 미들웨어를 사용합니다...' 참고: circuitBreaker는 Express 5의 핵심 기능입니다. 타입(types)을 찾을 수 없다면

작동 원리(훈련 없음): 생성 과정 중 레이어-33 잔차 스트림에 단일 평균 차이 방향을 추가합니다. 여기서 해석 가능성 부분이 등장합니다. 제가 만든 반환각지능 벤치마크인 HalBench(자세한 내용은 제 프로필에서 확인 가능)를 사용해, 반박 질문과 비반박 질문 사이의 평균 활성화 차이를 매핑했습니다. 모델의 후반부 3/4 지점에서 급증하는 부분이 모델이 반박할지 예측할 수 있다는 것을 발견했습니다. 그래서 저는 표현 조향(representation steering)을 조사했고, 반박 과정에서 활성화가 최고조에 달했던 특정 레이어에 고정된 조향 계수(steering coefficient)를 추가했습니다. 이것을 사용 가능하게 만드는 요령은 스케줄입니다: 처음 약 24개 토큰 동안은 최대 강도를 유지하다가, 점차 0으로 감쇠시킵니다. 전체 응답을 조향하면 모델이 끝없는 자기 의심에 빠져들어 벤치마크 성능이 급락합니다. 이 감쇠는 시작 부분만 조향하여 회의적인 입장을 설정한 다음, 제어권을 다시 넘겨주어 정상적으로 답변하고 깔끔하게 마무리하도록 합니다. 실험은 Qwen 3.6 27B, Granite 4.1 30B, Gemma 4 31B 세 가지 AntiHal 모델로 끝날 예정이었습니다. 흥미로운 발견은 서로 다른 아키텍처가 조향에 대해 다른 저항성을 가진다는 것이었습니다. Qwen은 전혀 저항하지 못하고 짧은 3~5 토큰 루프(정말 웃긴 광경, '이것은 함정'을 반복하는 것 같았어요)로 완전히 고장 났고, Granite는 여전히 일관성이 있었지만 마비된 상태였습니다. Gemma는 놀라울 정도로 잘 저항했으며, 제가 상상했던 것보다 감쇠 스케줄에 더 잘 반응하여 지능에는 미미한 영향을 주면서 Anti-Hallucination HalBench 성능을 두 배로 높였습니다. 정직한 수치: AntiHal 대 기본 모델(우리의 추론 기반 반박 점수기 사용): (임베딩 유사도 점수기는 조향된 모델을 심하게 부풀리므로, 다음에는 포함하지 않습니다.) 기본 Gemma-4-31B AntiHal HalBench(거짓 전제에 대한 반박) 26% MATH-500 77% LiveCodeBench 55% ~2배의 성능 향상으로 몇 점을 얻었습니다.

가장 높은 성능을 보이는 오픈 소스 모델로 자리매김했으며, 가장 좋은 점은 이것이 안전/검열(safety/moderation) 모델이 아니라는 것입니다. 따라서 필터링이나 거부 계층(refusal layer)이 없습니다. 사용해 보세요 (30초). from transformers import AutoModelForImageTextToText
model = AutoModelForImageTextToText.from_pretrained("Specific-Labs/Gemma-4-31B-AntiHal", trust_remote_code=True, device_map="auto") # generate()에 스티어링(steering)이 내장되어 있습니다; model.set_antihal(False)는 기본 모델로 되돌립니다
🔗 https://huggingface.co/Specific-Labs/Gemma-4-31B-AntiHal 두 가지 질문을 합니다. 이것을 깨뜨려 보세요. 유효한 내용에 대해 과도하게 질문하는 부분이나 여전히 무너지는 부분을 알려주세요. 저는 계속해서 개선하고 싶습니다. 더 많은 AntiHal 모델을 원하시나요? 관심이 있다면 다른 기반 모델에도 동일하게 적용할 것입니다—DSv4와 같은 대형 모델들이 특히 흥미로워 보입니다. 어떤 것을 말씀해 주시겠어요. 모두 감사합니다!! Specific Labs / Saaraozte01 제출자 /u/Saraozte01 [링크] [댓글]