자체 호스팅 LLM, 동일한 프롬프트, Temperature 0 - 6개의 서로 다른 답변

순차적 실행(Sequential execution)은 완벽했습니다. 100%의 확률로 동일한 예상 답변을 반환했습니다. 신뢰할 수 있는 시스템처럼 보였습니다. 하지만 동일한 테스트를 5개의 병렬 프로세스(parallel processes)로 실행하자, 모델이 스스로의 답변에 불일치를 보이기 시작했습니다. 예상 답변을 반환하는 확률이 87%로 떨어졌습니다.

실제로 일어나고 있는 일은 다음과 같습니다: 요청이 동시에 도착할 때, 배치 크기 1(batch of one)에서 계산된 동일한 프롬프트와 배치 크기 5(batch of five)에서 계산된 결과는 서로 다른 부동 소수점(floating point) 결과를 생성합니다. 이 차이가 디코딩(decoding) 과정에서 다른 토큰을 선택할 만큼 충분히 큽니다. Temperature 0.0 설정도 이를 막아주지 못하며, 오히려 이러한 편차(drift)를 재현 가능하게 만들 뿐입니다.

만약 당신의 애플리케이션이 에이전트(agents)를 병렬로 실행한다면(대부분의 기업이 그렇게 합니다), 당신이 통제할 수 없는 GPU 스케줄링 계층(GPU scheduling layer)에서 그 보장성이 깨지게 됩니다. 이를 포착하는 방법은 모델에 실제 작업을 위임하기 전에 이와 같은 일관성 조사(consistency probe)를 실행하는 것입니다.