U-Space: 언어 모델에서 불확실성이 발생하는 시점과 원인을 밝히다 [R][D]

만약 오픈 웨이트 추론 모델을 기반으로 작업한다면, 아마도 5배의 샘플링 비용이나 판정 모델(judge model), 또는 레이블링된 데이터셋 없이 '모델이 이 답변에 대해 얼마나 확신하는가?'라는 신호를 원했을 것입니다. 그래서 우리는 U-Lens를 만들었습니다. 한 문장으로 요약하자면: score = (숨겨진 상태(hidden state)가 서로 다른 '의심' 방향을 얼마나 강하게 가리키는지) x (추론 토큰에 대한 평균 토큰 엔트로피). 레이블 프리(Label-free): 정답 레이블 없음; 훈련이나 미세 조정(fine-tuning) 필요 없음. 단일 패스. 재샘플링 불필요. 해석 가능함. 이 점수를 통해 어떤 종류의 불확실성인지 알려줍니다: (i) 모호성(ambiguity), (ii) 누락된 정보(missing information), (iii) 상충되는 증거(conflicting evidence), 또는 (iv) 일반적인 불확실성(general uncertainty). (많은 애플리케이션에는 필수적이지 않지만 잠재적으로 유용함) 강력함. 3가지 시드, 3가지 모델, 4가지 벤치마크 평가에서 최고의 추정치를 보여주었습니다 (Gemma 4, Qwen3.5 및 Magistral에 대해). 5-pass, 10-pass 및 지도 학습 기반(supervised baselines) 방법보다 앞섭니다. 작은 주의사항: 모델별 유일한 구성 요소는 Jacobian lens입니다 (Anthropic의 글로벌 작업 공간 논문에서 가져온 J-Lens). 이것을 한 번 얻으면: CPU에서 4방향 U-Space를 구축합니다. 몇 백 개의 단어에 대한 언임베딩 행(unembedding rows)만 필요하며, 전체 모델을 로드할 필요가 없습니다. 추론 시에는 생각 과정의 끝에서 숨겨진 상태 하나를 가져와 4개의 벡터와 내적(dot it with 4 vectors)하고, 어차피 얻게 되는 로그잇(logits)의 평균 엔트로피로 곱하면 됩니다. 적합한 J-Lens를 얻는 방법: 40개 이상의 사전 적합된 렌즈가 Hugging Face에 있습니다 (neuronpedia/jacobian-lens): Gemma 2/3/4, Qwen3/3.5/3.6, Llama 3.1/3.3, gpt-oss-20b, OLMo 3 등. 사용 중인 모델이 없나요? Anthropic의 참조 코드(anthropics/jacobian-lens, jlens.fit)로 적합시킬 수 있습니다: 약 100개의 레이블 없는 프롬프트만 필요하며, 파라미터는 훈련되지 않고 비용은 역전파 과정에 의해 지배됩니다. 이것이 우리가 재포지션(repo)에 포함시킨 Magistral lens를 만든 방법입니다. --> 보통 저는 Anthropic 블로그 게시물의 예제를 사용하여 Lens가 적절한지 확인했습니다.

진입점: git clone https://github.com/s2labres/U-Space && cd U-Space pip install -r requirements.txt ./run_smoke.sh # Qwen3.5-4B, 10 TriviaQA questions, end to end (1 GPU) from src import uspace U, categories, _ = uspace.basis(model_cfg, terms) # 모델당 한 번 score = uspace.a_cone(eot_state[None], U) * think_entropy.mean() # 답변별로 우리가 사람들이 구축했으면 하는 것: 낮은 신뢰도의 답변을 더 큰 모델이나 사람에게 라우팅합니다. 정보가 누락되었을 때 검색을 트리거합니다. 모호성이 감지될 때 명확히 하는 질문을 합니다. RAG 파이프라인에서 상충되는 증거를 플래그 지정합니다. 프로젝트 논문 코드 면책 조항: 이것은 저희의 연구 코드입니다 (아직 pip 패키지가 아닌 재현 파이프라인). 여러분은 이것을 어디에 연결하시겠습니까? 통합/논의에 기꺼이 도움을 드리겠습니다! 😄 제출자 /u/AdRevolutionary3242 [링크] [댓글]