의미 보존 에MBEDDINGS 에 대한 그래디언트가 대규모 언어 모델의 불확실성을 나타냅니다.

요약

본 연구는 대규모 언어 모델(LLM)의 신뢰성을 높이기 위한 불확실성 정량화(UQ) 기법으로, 샘플링에 의존하지 않는 그래디언트 기반 방법을 제안합니다. 기존 방법들이 파라미터 공간에서 작동했던 것과 달리, 본 연구는 의미 공간(semantic space)에서의 그래디언트를 고려하는 '의미 보존 점수(SPS)'를 도입했습니다. 이를 통해 LLM이 의미적으로 동등한 입력 변화에도 안정적인 출력을 유지해야 한다는 직관을 구현하며, 효율적이고 효과적인 불확실성 추정 방법을 제시합니다.

핵심 포인트

• LLM의 환각(hallucination) 문제 해결을 위해 불확실성 정량화(UQ)가 필수적이다.
• 기존 UQ 방법들이 높은 계산 비용과 분산을 초래하는 샘플링에 크게 의존했다.
• 본 연구는 의미 공간(semantic space)에서 그래디언트를 고려하는 새로운 접근 방식을 제시한다.
• 의미 보존 점수(Semantic Preservation Score, SPS)를 도입하여 입력 섭동이 의미적으로 동등할 때 출력이 안정적인지 측정한다.
• 제안된 SemGrad와 HybridGrad는 기존 최첨단 방법보다 효율적이고 효과적인 불확실성 추정 성능을 보여준다.