대형 언어 모델의 숨겨진 무작위성을 특성화하기 위한 배경 온도 도입

요약

대규모 언어 모델(LLMs)은 이론적으로 온도를 0으로 설정해도 입력에 따라 다른 출력을 생성하는 비결정론적 문제를 안고 있습니다. 이 논문은 이러한 구현 의존적인 변동성을 '배경 온도($T_{bg}$)'라는 개념을 도입하여 공식화합니다. 연구진은 $T_{bg}$가 추론 환경에서 발생하는 확률적 섭동과 관련됨을 보여주고, 이를 측정하기 위한 실증 프로토콜을 제안하며 재현성 및 평가에 대한 중요한 함의를 제시합니다.

핵심 포인트

• LLMs는 온도를 0으로 설정해도 구현 수준의 비결정론적 변동성을 보일 수 있다.
• 이러한 환경 의존적인 변동성은 '배경 온도($T_{bg}$)'라는 개념으로 공식화된다.
• $T_{bg}$는 추론 환경(Inference Environment)에 의해 지배되는 확률적 섭동과 관련된다.
• 연구진은 $T_{bg}$를 추정하기 위한 실증적인 프로토콜을 제안하고, 주요 LLM 공급자 모델에서 이를 입증했다.