번외편(0→100개 기사)에서 「LLM은 토큰을 확률 분포에서 뽑는다」라는 이야기를 했습니다. 이번에는 그 후속으로, 분포의 형태 자체를 어떻게 왜곡할 것인가라는 한 단계 더 깊은 이야기입니다. temperature

(온도)라는 파라미터는 API를 다뤄본 적이 있다면 반드시 보게 되지만, 「0으로 만들면 똑똑해진다」, 「1로 만들면 창의적이 된다」 정도의 이해에 머물러 있는 사람이 많다고 생각합니다.

결론부터 말하자면, 이 두 가지 통념은 둘 다 상당히 부정확했습니다. 이번에는 그 부분을 메커니즘 레벨에서 풀어보겠습니다.

LLM이 다음 단어를 선택할 때, 내부에서는 각 후보에 대해 Logits(로짓, 생 스코어)라는 수치가 계산됩니다. 이것이 Softmax(소프트맥스)라는 함수를 통과하여 합계가 100%가 되는 확률 분포로 변환됩니다. 여기까지는 번외편의 「분포에서 뽑는다」라는 이야기와 같습니다.

온도는 Softmax에 들어가기 전에 Logits를 나눗셈합니다.

조정된 Logits = 원래의 Logits ÷ 온도

나누는 수가 작을수록(저온), 차이가 과장되어 분포가 뾰족해집니다. 나누는 수가 클수록(고온), 차이가 줄어들어 분포가 평평해집니다.

구체적인 예로 살펴보겠습니다. 「개」, 「고양이」, 「새」 세 가지가 다음 후보이고, 원래의 Logits가 [4.0, 3.0, 1.0]이었다고 가정해 봅시다.

같은 원래 스코어임에도 온도를 바꾸는 것만으로 확률 배분이 완전히 다르게 보입니다. T=0은 수식상 「0으로 나누기」라는 특이점이 되므로, 구현상으로는 「항상 가장 확률이 높은 토큰을 선택한다」(greedy)라는 특수 처리로 대체되어 있습니다.

사람으로 비유하자면, 가챠(뽑기)의 배출률 조정이 가장 가깝습니다.

• T=0: 가장 잘 나오는 SSR을 매번 확정적으로 뽑음 (배출률을 무시한 확정 연출)
• T=1: 순수 배출률대로 뽑음
• T=2: 배출률을 억지로 평탄하게 만들어, 레어도와 상관없이 거의 균등하게 뽑음

여기까지는 많은 사람이 막연하게 알고 있는 내용일 것입니다. 이제부터 두 가지 통념을 깨뜨려 보겠습니다.

먼저, 이 기사에서 나오는 용어들을 정리해 두겠습니다.

근본적인 의문으로서, 「가장 좋아 보이는 답을 선택하면 될 텐데, 왜 확률로 제비뽑기를 하는가」라고 생각할지도 모릅니다.

이유는 다음에 올 단어가 애초에 하나로 결정되지 않기 때문입니다. 「오늘의 날씨는」 다음에 이어질 단어는 「맑음」일 수도 있고 「비」일 수도 있고 「좋음」일 수도 있습니다. 어느 것이든 문법적으로나 의미적으로나 이상하지 않습니다.

이러한 「여러 가지 타당한 이어짐이 있는」 상황에서, 모델은 각각의 타당성을 확률로서 가지고 있는 것입니다. 온도는 이 확률의 사용법——「가장 타당한 것만을 기계적으로 채택할 것인가」, 「타당성에 따라 어느 정도 랜덤하게 선택할 것인가」——를 조정하는 조절 장치입니다.

많은 사람이 「수학이나 코딩 태스크는 온도를 낮춰야 한다」고 믿습니다. 「가장 확률이 높은 선택지를 계속 선택하는 편이 정답에 가까워질 것이다」라는 직관입니다.

이를 대규모로 검증한 것이 Renze & Guven (2024) (EMNLP 2024 Findings)입니다.

9종류의 주요 LLM에 5종류의 프롬프트 기법을 조합하여, 온도를 0.0부터 1.6까지 움직이면서 여러 문제 영역에 걸친 다지선다형 문제를 풀게 했습니다.

결과는 명확합니다.

온도를 0.0에서 1.0 범위에서 변화시켜도, LLM의 문제 해결 태스크 성능에 통계적으로 유의미한 영향은 없었다. 게다가 이 결과는 모델의 종류, 프롬프트 기법, 문제 영역을 가로질러 일관되게 나타났다.

「수학은 온도를 낮춰야 한다」라는 널리 믿어온 통념에 정면으로 반하는 결과입니다.

그렇다면 왜 API의 기본값으로 온도 0을 권장하는 기사가 많은 걸까요? 논문 스스로가 그 답도 내놓고 있습니다.

이 결과를 바탕으로, 우리는 문제 해결 태스크에서 LLM의 샘플링 온도를 0.0으로 설정할 것을 권장한다. 이 온도는 정확도를 희생하지 않으면서 재현성을 최대화한다.

T=0을 권장하는 이유는 "정확도가 올라가기 때문"이 아니라, "정확도를 떨어뜨리지 않으면서 재현성을 최대화할 수 있기 때문"이었습니다. "지능의 조절 장치"라고 생각했던 것이, 사실은 "재현성의 조절 장치"에 불과했던 것입니다. 이 차이는 실무에서 상당히 큰 영향을 미칩니다. "왜 T=0으로 설정했나요?"라는 질문에 "정답에 가까워지기 때문입니다"라고 답하는 것과, "매번 동일한 동작을 하게 하고 싶기 때문입니다"라고 답하는 것은 이야기의 맥락이 완전히 달라집니다.

예외도 있습니다

확장 사고 (Extended Reasoning) 모델에서는 이 결과가 그대로 적용되지 않는다는 보고도 있습니다. Renze & Guven의 연구는 확장 추론 능력을 갖추지 않은 표준적인 모델을 대상으로 한 것이며, 후속 연구에서는 확장 추론 모델에서 온도의 효과가 재검토되고 있습니다. 해 공간 (Solution Space)을 탐색할 여지가 있는 확장 사고 모델에서는, 어느 정도의 고온이 탐색의 폭을 넓혀 유효하게 작용하는 경우가 있다는 보고입니다. 베이스 모델 (Base Model)과 확장 사고 모델에서 이야기가 달라진다는 점은 기억해 둘 가치가 있습니다.

여기서 잠시 멈춰봅시다. 왜 이렇게 널리 믿어져 온 통념이 사실은 근거가 빈약했던 걸까요?

직관적으로는 말이 되는 것처럼 보입니다. "T=0은 모델이 가장 자신 있어 하는 선택지를 항상 고른다. 그러니 가장 옳을 것이다."

하지만 이것은, 1개 토큰의 선택 문제와 여러 단계에 걸친 추론 전체의 올바름에 관한 문제를 혼동하고 있는 것입니다.

수학 문제를 풀기 위해서는 여러 개의 토큰 (식 변형의 각 단계)을 쌓아 올려야 합니다. 각 단계에서 "그 시점에서 가장 확률이 높은 1개 토큰"을 탐욕적 (Greedy)으로 계속 선택하는 것이, 전체적으로 가장 올바른 해법에 도달하는 것을 보장하지는 않습니다. 이는 탐색 이론 (Search Theory)에서 잘 알려진 사실로, 각 국면에서의 최선수를 쌓아 올려도 전체 최적의 경로가 된다고 단정할 수 없습니다. 장기나 체스 같은 게임에서 한 수 한 수의 최선수가 반드시 승리까지의 최단 경로와 일치하지 않는 것과 같습니다.

즉, 온도가 영향을 미치는 것은 "그 순간의 1단어 선택 방식"이지, "쌓아 올린 끝에 나온 해법 전체의 질"이 아닙니다. 이 부분을 혼동하면 "T=0으로 설정하면 똑똑해진다"라는 오해가 생깁니다.

여기서 또 하나의 뿌리 깊은 통념을 깨뜨려 보겠습니다. "T=0 (항상 최대 우도 토큰을 선택하는 것)은 적어도 가장 '자연스러운' 문장이 될 것이다"라는 직관입니다.

이것 또한 틀렸습니다. **Holtzman et al. (2019)**의 「The Curious Case of Neural Text Degeneration」이라는, 이 분야에서 매우 유명한 논문이 있습니다.

우도를 최대화하는 훈련 목적이 폭넓은 언어 이해 태스크에서 고품질의 모델을 생성하는 한편, 탐욕법 (Greedy Search)이나 빔 서치 (Beam Search)와 같은 최대화 기반의 디코딩 (Decoding) 기법은 퇴화된 출력——단조롭고, 지리멸렬하거나, 혹은 반복 루프에 빠지는 출력——을 생성한다는 반직관적인 경험칙이 확인되었다.

항상 가장 확률이 높은 단어만을 계속 선택하면, 문장은 동일한 구절의 루프에 빠지게 됩니다.

왜 그럴까요? 이유는 인간이 쓰는 문장의 성질에 있습니다.

자연스러운 문장의 1개 토큰당 확률은 평균적으로 빔 서치로 생성된 문장보다 훨씬 낮습니다. 자연어는 여러 개의 연속된 타임 스텝 (Time Step)에 걸쳐 고확률 영역에 계속 머무르는 경우가 드물며, 대신 정보량이 더 많은 저확률 토큰으로 벗어나곤 합니다. 또한 자연어는 모델이 그곳에 높은 확률을 할당하는 경향이 있음에도 불구하고, 반복 루프에 빠지는 경우는 거의 없습니다.

즉, 인간의 자연스러운 문장은 항상 가장 "무난한" 단어만을 선택하고 있는 것이 아닙니다. 오히려 규칙적으로 의외성이 있는 단어를 선택합니다. "매번 똑똑한 선택을 한다"라는 전략 자체가 부자연스러움의 원인이 됩니다.

이것이 바로 **Top-p (Nucleus Sampling)**가 탄생한 이유입니다. 분포의 꼬리 부분 (저확률이지만 무의미한 선택지)은 잘라내면서도, 머리 부분 (최대 우도 토큰만)에만 집착하지 않고 동적인 범위 내에서 샘플링하는 기법입니다 (자세한 내용은 다음 장에서).

지금까지의 두 가지 통념을 정리하면 다음과 같습니다.

"T=0 = 똑똑함·자연스러움"이라는 직관은, 정확도에 대해서도 자연스러움에 대해서도 근거가 희박하다는 뜻입니다.

또 하나 널리 믿어지는 이야기가 있습니다. "온도를 0으로 설정하면 완전히 결정적 (매번 동일한 출력)이 될 것이다"라는 것입니다.

이것도 절반만 맞습니다. 게다가 통속적인 설명조차 사실은 부정확했습니다.

흔히 하는 설명은 이렇습니다. "GPU 상의 병렬 계산에서는 부동 소수점 연산의 비결합성 (non-associativity, 계산 순서에 따라 결과가 미세하게 변하는 성질) 때문에 매번 같은 답이 나오지 않는다."

2025년 9월, Thinking Machines Lab (전 OpenAI CTO인 Mira Murati가 설립)의 Horace He 등이 이 설명을 검증했습니다. 결론은——주된 원인은 그것이 아니다라는 것이었습니다.

부동 소수점의 비결합성과 병렬 실행의 조합이 어떤 병렬 코어가 먼저 처리를 끝내느냐에 따라 비결정성 (non-determinism)을 낳는다는 것이 일반적인 가설입니다. 하지만 전형적인 LLM의 forward pass에는 통상적으로 atomic add가 하나도 존재하지 않기 때문에, 이것이 문제의 핵심이 아님을 설득력 있게 보여줄 수 있습니다.

그렇다면 진짜 원인은 무엇일까요?

거의 모든 LLM 추론 엔드포인트가 비결정적이 되는 주요 이유는 부하 (즉, 배치 사이즈 (batch size))가 비결정적으로 변동하기 때문입니다.

배치 사이즈 의존성입니다. 서버는 여러 요청을 묶어서 처리하지만, 당신의 요청이 그 순간 다른 누구의 요청과 함께 배치 처리될지는 매번 달라집니다.

실제 운영되는 LLM 서버는 동적 배치 처리 (dynamic batching)를 사용하며, 여러 무관한 요청이 가변 크기의 배치로 묶입니다. 당신의 단 하나의 프롬프트는 그 순간 가동 중인 다른 사용자의 요청과 함께 배치 처리되며, 배치 사이즈, 패딩 (padding), 배치 내에서의 위치가 예측 불가능하게 변화합니다.

배치 사이즈가 바뀌면 GPU 내부에서 어떤 계산 커널 (kernel)과 어떤 리덕션 (reduction, 합계 계산) 순서를 사용할지가 달라집니다. 부동 소수점의 덧셈은 비결합적 (더하는 순서에 따라 결과가 미세하게 변함)이므로, 여기서 극미한 오차가 발생합니다. 그리고 이 오차가 층 (layer)을 전파하는 과정에서 탐욕법 (greedy)에서의 최댓값 선택 자체를 뒤집어버릴 수 있으며, 완전히 다른 출력으로 이어질 수 있습니다.

인간으로 비유하자면, 공동 오븐의 쿠키와 같습니다. 당신의 쿠키 (요청)가 구워지는 방식은 레시피 (프롬프트와 온도 설정)가 같더라도, 그때 우연히 함께 구워지고 있는 다른 사람의 쿠키 (동시에 처리되는 다른 요청)의 수와 종류에 따라 미세하게 달라집니다. 혼잡도는 매번 다르므로 결과도 매번 약간씩 다릅니다.

실무적 함의

진정한 재현성이 필요한 용도 (감사 로그, 테스트 스위트, 규제 대응)에서는 T=0만으로는 부족합니다. 배치 사이즈에 의존하지 않는 전용 계산 커널 (batch-invariant kernels)이나 고정 배치 사이즈를 통한 서빙 (serving) 등 인프라 측면의 설정까지 파고들 필요가 있습니다. 실제로 Thinking Machines Lab은 배치 사이즈의 변동이 정규화 (normalization), 행렬 곱 (matrix multiplication), 어텐션 메커니즘 (attention mechanism)이라는 세 가지 주요 연산에서 수치적 일관성을 무너뜨린다는 것을 특정하였으며, 배치 불변 (batch-invariant) 구현을 구축함으로써 1,000번의 실행에서 1,000번 모두 동일한 출력을 얻는 데 성공했다고 보고했습니다. 다만, 그 대가로 결정적 추론은 통상보다 약 60% 느려진다고 합니다. 일반적인 API 이용자가 이 정도까지 파고드는 일은 드물며, "T=0은 상당히 안정적이지만, 비트 단위로 동일하다고 단정할 수는 없다" 정도의 이해가 현실적입니다.

온도는 분포의 "뾰족함"을 바꿀 뿐, 후보 풀 (candidate pool) 자체는 바꾸지 않습니다. 꼬리 부분의 저확률 토큰도 확률이 0이 되는 것이 아니라, 선택되기 어려워질 뿐입니다.

Top-k와 Top-p는 반대로, 후보 풀을 잘라내는 (pruning) 기술입니다.

Top-k: 확률이 높은 순서대로 k개만 남기고 나머지는 후보에서 제외합니다.

Top-p (nucleus sampling): 확률이 높은 순서대로 토큰을 더해가다가, 누적 확률이 지정된 비율 p를 넘는 지점에서 끊습니다. 분포 내의 신뢰할 수 있는 영역 (nucleus)에서만 샘플링한다는 발상입니다.

고정된 k개로 자르는 Top-k에는 약점이 있습니다. 임계값을 어디에 둘 것인가는 모델의 생성에 있어 "신뢰할 수 있는 예측 범위"를 어떻게 정의하느냐의 문제이며, 고정값 k는 문맥에 따라 최적이지 않을 수 있음이 밝혀졌습니다. 분포가 날카롭게 뾰족할 때 (후보가 거의 하나로 좁혀지는 상황)는 k개를 남길 필요 없이 불필요한 노이즈를 拾하게 됩니다. 반대로 분포가 평평할 때 (정말로 여러 타당한 후보가 있는 상황)는 k개로는 부족하여 부자연스럽게 선택지를 좁혀버립니다.

Top-p는 그때그때의 분포 형태에 따라 동적으로 차단 위치를 변경함으로써 이를 해결합니다. 뾰족할 때는 자동으로 소수 정예로, 평평할 때는 자동으로 넓게 잡습니다.

실무에서는 온도로 분포의 형태를 바꾼 뒤, Top-p로 꼬리 부분을 자르는 2단계 방식이 일반적입니다. 온도를 높여 다양성을 확보하면서도, Top-p를 통해 '명백히 이상한' 저확률 토큰만을 배제하는 조합입니다.

지금까지의 내용에서 생길 법한 의문들을 미리 짚어보겠습니다.

정확도(Accuracy) 측면만 본다면, 이론상으로는 문제가 없다는 결과가 나옵니다. 하지만 실무에서는 이야기가 다릅니다.

코딩 태스크는 많은 경우 "같은 프롬프트에 대해 매번 같은 코드가 나오길 바라는" 재현성 (Reproducibility)에 대한 요구가 강한 영역입니다. 디버깅의 용이성, 리뷰의 용이성, CI/CD에서의 안정적인 동작을 고려하면, 정확도가 변하지 않는다면 재현성이 높은 저온 (Low Temperature)을 선택할 이유가 더 크다는 것이 실무적인 결론입니다. "정확도를 위해 낮춘다"가 아니라 "안정성을 위해 낮춘다"는 이해의 차이가 여기서 작용합니다.

명확한 이유는 공개되지 않았습니다. Renze & Guven의 논문에서도, OpenAI의 GPT-3.5 API는 0.01.0 범위에서 기본값(Default)이 0.7이었고, GPT-4는 0.02.0 범위에서 기본값이 1.0이었으나, 이러한 기본값이나 모델 간의 변경에 대해 OpenAI로부터 명확한 설명은 제공되지 않고 있다고 지적합니다. 관습적인 값일 뿐, 근거가 있는 최적값이라고 단정할 수 없다는 것이 솔직한 심정입니다. 자신의 태스크에 최적인 온도는 결국 직접 측정해 볼 수밖에 없습니다.

이 점도 주의해야 합니다. 온도를 높이면 출력의 **다양성 (Diversity)**은 확실히 증가하지만, 다양성과 '의미 있는 새로움·창의성'은 별개의 문제입니다. 단순히 랜덤성을 강화하는 것이기에, 지리멸렬해지는 방향으로도 다양화됩니다. "창의적인 문장을 원하니까 온도를 높인다"라는 발상 자체는 틀리지 않았지만, 너무 높이면 단순한 지리멸렬함이 된다는 상한선이 있다는 점을 기억해 두는 것이 좋습니다. 다음 장에서 다룰 Top-p는 이러한 과잉을 억제하기 위한 기술이기도 합니다.

지금까지의 내용을 바탕으로 한 지침입니다.

그리고 마지막으로 하나, 다음 회차를 위한 복선을 깔아두겠습니다.

**자기 일관성 (Self-consistency)**이라는 기법을 알고 계십니까? 같은 문제를 여러 번 풀게 하여 다수결로 답을 결정하는 수법입니다. 이는 사실, 의도적으로 온도를 높여 다양한 출력을 여러 개 얻는 것을 전제로 합니다. 만약 온도를 0으로 유지한다면, 몇 번을 풀게 해도 매번 같은 답만 돌아올 것이므로 다수결의 의미가 없어집니다.

"정확도를 높이고 싶다면 온도를 낮춰라"가 아니라, "정확도를 높이고 싶다면 오히려 온도를 높여 여러 번 샘플링하고, 그것을 다수결에 부쳐라"라는, 언뜻 역설적인 전략이 존재하는 것입니다. 이 기법은 이 연재의 후보 토픽으로 아직 다루지 않았습니다. 조만간 다루게 될 것이라 생각합니다.

메커니즘 이야기

• 온도는 Softmax에 들어가기 전에 Logits을 나눗셈한다. 낮을수록 분포는 뾰족해지고, 높을수록 평평해진다. T=0은 수식상의 특이점(Singularity)이며, 구현상으로는 Greedy (항상 최우량 토큰을 선택) 방식으로 대체된다.

통념 ①이 깨지는 방식

• "온도를 낮추면 정확도가 올라간다"는 9개 모델, 5개 기법, 여러 영역을 가로지르는 검증을 통해 통계적으로 유의미한 효과를 확인할 수 없었다.
• T=0을 권장하는 진짜 이유는 "정확도"가 아니라 "재현성"이다. 이 둘을 혼동하면 실무에서의 설명이 빗나간다. 오해가 생긴 이유는 "1개 토큰의 최선 선택"과 "여러 단계의 추론 전체의 올바름"을 혼동했기 때문이다. 각 단계에서의 탐욕적(Greedy)인 최선책이 전체 최적의 해법을 보장하지는 않는다.

통념 ②가 깨지는 방식

• "T=0이 가장 자연스러운 문장이 된다"도 오류다. 항상 최우량 토큰만을 계속 선택하면 문장은 오히려 반복 루프에 빠진다 (퇴화). 인간의 자연스러운 문장은 항상 가장 무난한 단어만을 선택하는 것이 아니다.
• 이것이 Top-p (Nucleus sampling)가 탄생한 이유다.

또 다른 오해

• "T=0이면 완전히 결정론적(Deterministic)이 된다"도 부정확하다. 통속적인 설명(부동 소수점의 비결합성)은 핵심을 벗어나 있으며, 진정한 주원인은 **배치 사이즈 의존성 (Batch size dependency)**이다. 동시에 처리되고 있는 타인의 요청 구성에 따라 내부 계산 경로가 바뀌어, 근소한 차이의 판정을 뒤집을 수 있다. 진정으로 재현성이 필요한 용도에서는 T=0만으로는 부족하며, 인프라 측면의 대책이 필요하다.

다른 관점의 이야기

• Top-k 및 Top-p는 온도 (Temperature)와는 별개의 축으로, 후보 풀 (Candidate pool) 자체를 잘라내는 기술입니다. 온도로 형태를 변형한 뒤, Top-p로 꼬리 부분을 잘라내는 2단계 방식이 실무의 기본값입니다.

CoT (Chain-of-Thought), Few-shot, 역할 프롬프트 (Role prompt) 등 지금까지 다루어 온 기법들은 모두 "새로운 능력을 가르치는 것이 아니라, 기존 행동 중 어느 부분을 호출할지를 선택하고 있을 뿐이다"라는 결론에 도달했습니다.

온도는 성격이 조금 다릅니다. 온도가 바꾸는 것은 "무엇을 호출할 것인가"가 아니라 "호출 방식 그 자체의 변동 폭 (Variance)"입니다. 그럼에도 이번에 드러난 것은 동일한 연재의 교훈이 변주된 형태였습니다. "T=0으로 설정하면 똑똑해진다"라는 그럴듯한 직관은, 정확도 측면에서도 자연스러움 측면에서도 근거가 없었습니다. 그럴듯해 보이는 것과 옳은 것은 별개입니다 —— 이 테마는 파라미터 (Parameter)의 세계에도 변함없이 적용됩니다.

다음 주제는 아직 확정되지 않았습니다. 시스템 프롬프트 (System prompt)와 사용자 프롬프트 (User prompt)의 가중치, 구조화된 출력 (Structured output) 및 구분자 (Delimiter), 자기 일관성 (Self-consistency) —— 이 세 가지가 후보로 남아 있습니다.

• Renze, M., Guven, E. (2024).
  The Effect of Sampling Temperature on Problem Solving in Large Language Models. Findings of EMNLP 2024. arXiv:2402.05201
• Holtzman, A. et al. (2019/2020).
  The Curious Case of Neural Text Degeneration. ICLR 2020. arXiv:1904.09751
• He, H., Thinking Machines Lab (2025).
  Defeating Nondeterminism in LLM Inference. thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference