Open-weight language models는 생성 길이가 길어질수록 성능이 저하되는 것이 광범위하게 관찰됩니다. 종종 이러한 문제를 해결하기 위해 더 많은 훈련을 시도합니다. 온도가 높을 때, 즉 모델의 확률 분포에서 다음 토큰을 선택하는 규칙인 샘플러(sampler)가 장기적이고 에이전트적인 생성(agentic generation)이 살아남거나 번성할지 여부를 결정합니다.
저희는 1B부터 122B 파라미터까지의 29개 open-weight 모델을 사용하여, SWE-bench Verified 코딩 에이전트, 긴 사고 사슬 추론(long chain-of-thought reasoning), 장문 작성, 장 구조화된 출력(long structured output), 그리고 컨텍스트 읽기 등 열 가지 확립된 벤치마크와 최대 백만 토큰까지의 바늘 검색(needle retrieval)을 테스트했습니다.
온도가 높아짐에 따라 후보 토큰 풀(pool of candidate tokens)을 작고 안정적으로 유지하는 샘플러는 정확도를 잃지 않습니다. 반면, 낮은 확률의 토큰들을 허용하는 샘플러는 무너집니다. 온도 2에서 top-p, top-k 또는 Top-H를 실행한 코딩 에이전트는 100개의 GitHub 이슈 중 0개를 해결했지만, 동일한 에이전트가 top-nsigma를 실행했을 때는 46개에서 62개를 해결했으며, 두 샘플러가 의견을 달리하는 모든 이슈에서 승리했습니다 (Qwen3.5 모델 세 개에 대해). 전체 벤치마크에서 top-nsigma는 온도 1일 때 점수의 중앙값 100%를 유지한 반면, top-p는 26%만 유지했습니다. 각 샘플러가 얼마나 많은 토큰을 통과시키는지 계산하면 그 이유를 설명할 수 있습니다. Llama-3.1-8B 스토리 하나에서 온도 1에서 2로 갈 때, top-p의 풀은 4개 토큰에서 51,845개로 증가하는 반면, top-nsigma는 3개에 머물렀습니다.
샘플러 설정과 온도의 133가지 조합에 걸쳐 일반적인 풀 크기는 평가된 품질을 예측하며(Spearman 상관계수 -0.77), 온도 1에서 풀을 선택한 후 나중에만 온도를 적용할 경우, Top-H, min-p 및 p-less는 더 이상 무너지지 않습니다. 기본 온도인 1에서는 대부분의 샘플러가 비슷한 성능을 보입니다. 저희는 모든 코드와 데이터를 공개합니다.