의미 보존 에MBEDDINGS 에 대한 그래디언트가 대규모 언어 모델의 불확실성을 나타냅니다.

불확실성 정량화 (Uncertainty Quantification, UQ) 는 LLM 의 환각 (hallucination) 경향으로 인해 신뢰성을 보장하기 위한 중요한 기법입니다. 기존 최첨단 UQ 접근법은 자유형 생성 (free-form generation) 에 샘플링 (sampling) 을 크게 의존하며, 이는 높은 계산 비용과 분산 (variance) 을 초래합니다. 본 연구에서는 첫 번째로 제안된 자유형 생성을 위한 그래디언트 기반 UQ 방법인 SemGrad 를 제시합니다. 이 방법은 샘플링 없이 계산 효율적입니다. 기존 분류 작업에 개발된 그래디언트 기반 방법들은 파라미터 공간에서 작동하는 반면, 우리는 의미 공간 (semantic space) 에서 그래디언트를 고려할 것을 제안합니다. 우리의 방법은 확신 있는 LLM 이 의미적으로 동등한 입력 섭동 (input perturbations) 하에 안정적인 출력 분포를 유지해야 한다는 핵심 직관 (key intuition) 을 기반으로 합니다. 우리는 이를 의미 공간의 그래디언트로 해석하고, 그들에 대해 계산되는 그래디언트 기준으로 가장 잘 의미를 포착하는 임베딩을 식별하기 위해 의미 보존 점수 (Semantic Preservation Score, SPS) 를 도입합니다. 또한 SemGrad 와 파라미터 그래디언트의 장점을 결합한 HybridGrad 를 제안합니다. 실험 결과, 두 방법 모두 효율적이고 효과적인 불확실성 추정을 제공하며, 특히 여러 유효 응답이 있는 설정에서 최첨단 방법보다 우수한 성능을 달성함을 보여줍니다.