Temperature가 실제로 하는 역할

LLM이 응답을 생성할 때, 매 단계마다 가능한 다음 토큰(token)들에 대한 확률 분포(probability distribution)를 생성합니다. Temperature는 샘플링(sampling) 전 이 분포를 스케일링(scaling)합니다.

Temperature가 0이면 모델은 항상 가장 확률이 높은 토큰을 선택하여 결정론적(deterministic)인 출력을 생성합니다. Temperature가 1이면 모델의 확률에 비례하여 샘플링합니다. 1보다 높은 Temperature는 분포를 평탄하게 만들어 무작위성(randomness)을 높이며, 확률이 낮은 토큰들이 더 경쟁력을 갖게 만듭니다.

올바른 직관은 Temperature를 모델이 가장 명확한 답변 너머로 얼마나 탐색(explore)하도록 허용할지를 제어하는 컨트롤러로 생각하는 것입니다. 낮으면 수렴(converge)하고, 높으면 발산(diverge)합니다.

0이 매번 동일한 출력을 의미하지는 않습니다

Temperature 0은 수학적 의미에서 모델을 결정론적으로 만들지만, 동일한 프롬프트(prompt)라도 별도의 API 호출 사이에는 약간 다른 출력이 생성될 수 있습니다. 이는 하드웨어와 배치(batching) 간의 부동 소수점(floating point) 산술 차이 때문에 발생합니다. 추론(inference) 서버는 여러 요청을 배치 단위로 처리하며, 연산 순서가 달라질 수 있습니다.

대부분의 프로덕션(production) 애플리케이션에서 Temperature 0은 충분히 일관된 출력을 생성합니다. 하지만 테스트나 규정 준수를 위해 절대적인 반복 가능성(repeatability)이 필요하다면, 단순히 Temperature 파라미터에만 의존할 것이 아니라 추가적인 출력 검증 계층이 필요합니다.

사용 사례에 맞는 Temperature 선택 방법

추출(extraction) 및 분류(classification) 작업은 일반적으로 0에서 0.3 사이의 낮은 Temperature를 사용할 때 이점을 얻습니다. 모델이 엔티티(entity)를 일관되게 식별하거나, 감정(sentiment)을 라벨링하거나, 필드를 추출하기를 원하기 때문입니다. 여기서는 창의적인 탐색이 필요하지 않습니다.

사실 관계 질문에 대한 답변은 0에서 0.5 사이가 적합합니다. 모델은 정보를 검색하고 형식을 맞추어야 하며, 정보의 변형을 만들어내서는 안 됩니다.

고객 지원 답변에는 0.3에서 0.5 사이가 유익합니다. 이는 상호작용 간에 표현을 자연스럽게 변화시켜 로봇처럼 들리지 않게 하면서도, 실질적인 내용은 일관되게 유지하고 승인된 범위 내에 머물 수 있을 만큼 충분한 수치입니다.

마케팅 카피나 창의적인 브레인스토밍과 같은 개방형 생성에는 0.7에서 1.0 사이의 더 높은 온도가 유익합니다. 여기서의 목표는 정형화된 답변으로 수렴하는 것이 아니라, 가능성의 공간을 탐색하는 것입니다.

온도 (Temperature)와 환각 (Hallucination)

온도가 높을수록 창의성은 높아지지만 사실적 오류의 발생률도 높아집니다. 메커니즘은 단순합니다. 모델이 확률이 낮은 토큰(tokens)을 샘플링하게 되는데, 여기에는 틀렸지만 그럴듯해 보이는 정보가 포함될 수 있습니다. 온도가 높아질수록 사실적으로 잘못된 영역으로 벗어날 확률이 상승합니다.

사실적 정확성이 중요한 애플리케이션의 경우, 낮은 온도는 충분한 방어책이 되지 않습니다. 낮은 온도는 모델이 잘못된 영역으로 벗어나는 비율을 줄여주지만, 환각 (hallucination)을 제거하지는 못합니다. 모델은 여전히 틀린 내용에 대해 매우 높은 확신을 가질 수 있습니다.

올바른 접근 방식은 낮은 온도와 더불어 더 많은 진실 근거(sources of truth)의 검색, 그리고 더 많은 출력 평가 (output evaluation)를 병행하는 것입니다. 저희는 프로덕션 환경에서의 환각 (hallucination in production)에서 이 전체 프레임워크를 다룹니다.

기타 샘플링 파라미터 (Sampling Parameters)

온도가 유일한 제어 수단은 아닙니다. 핵 샘플링 (nucleus sampling)이라고도 불리는 Top-p는 확률 질량의 임계값을 정의하며, 누적하여 해당 임계값에 도달하는 주요 토큰들만을 샘플링합니다. 만약 Top-p가 0.9라면, 모델은 샘플링하기 전에 확률의 합계가 전체의 90%가 되는 토큰들만을 고려합니다. 이는 확률이 매우 낮은 토큰들의 롱테일 (long tails)를 잘라냅니다.

Top-k는 분포와 관계없이 절대적으로 가장 확률이 높은 k개의 토큰으로 후보군을 제한합니다. Top-k 값이 낮으면 상위 토큰들이 모두 의미론적으로 유사할 경우 출력이 반복적으로 느껴질 수 있습니다.

대부분의 프로덕션 (Production) 유스케이스는 Temperature 설정만으로 충분하며, Top-p와 Top-k는 제공업체의 기본값으로 두어도 무방합니다. 각 파라미터에 대한 명확한 이유 없이 여러 파라미터를 동시에 설정하면 예측 불가능한 상호작용이 발생하고 디버깅 (Debugging)이 더 어려워집니다. 문제가 발생했을 때 어떤 파라미터가 원인이었는지 알 수 없게 됩니다.

평가에 미치는 영향

만약 Temperature 0으로 시스템을 평가하고 Temperature 0.7로 배포한다면, 귀하의 평가는 프로덕션 환경에서의 동작에 대해 거의 아무것도 알려주지 않습니다. 두 설정은 근본적으로 다른 출력 분포 (Output distribution)를 생성하기 때문입니다.

높은 Temperature로 인해 도입된 분산 (Variance)은 정확도에 대한 안정적인 추정치를 얻기 위해 더 많은 평가 샘플이 필요함을 의미합니다. Temperature 0에서는 각 프롬프트 (Prompt)가 하나의 출력을 생성합니다. 반면 Temperature 0.7에서는 실제 품질 분포를 추정하기 위해 프롬프트당 여러 번 샘플링을 수행해야 합니다.

실제 배포할 것과 정확히 동일한 Temperature에서 평가를 실행하십시오. 그리고 정확도 지표의 신뢰 구간 (Confidence interval)이 유용할 정도로 충분히 좁아질 수 있도록 충분한 샘플을 사용하십시오. 전체 방법론은 LLM 평가 (LLM evals)에서 다룹니다.

무엇을 설정해야 할지 모를 때

사실적 정확성, 구조화된 출력 (Structured output) 또는 일관된 포맷팅이 필요한 모든 작업의 경우: 0.2에서 시작하십시오. 해당 Temperature에서 평가 세트를 실행한 다음, 0.0과 0.4를 시도하여 결과를 비교해 보십시오. 그 차이는 대개 예상보다 명확합니다.

자연스러운 언어의 다양성, 공감적인 어조 또는 창의적인 출력이 필요한 모든 작업의 경우: 0.7에서 시작하십시오. 귀하가 얻고 있는 분산이 단순히 출력이 변하는 것이 아니라, 의도한 올바른 종류의 변화인지 검증하십시오.

정답은 직관적으로 들리는 것이 아니라, 귀하의 평가가 확인해 주는 것입니다. 개발 단계에서 "느낌"에 기반하여 온도를 설정하고 프로덕션(Production) 환경에서만 측정하는 팀들은 대개 자신의 직관이 틀렸음을 깨닫게 되며, 그 깨달음은 실제 사용자들과 마주할 때 일어납니다.

원문은 studiolabsai.com에 게시되었습니다. Studio Labs는 엔터프라이즈 팀을 위한 프로덕션(Production) AI를 구축합니다. 상담 예약하기.