본문으로 건너뛰기
arXiv논문2026. 11. 19. 20:19
장문 컨텍스트 생성은 샘플링의 문제다 (온도가 높아질 때) 대표 이미지

장문 컨텍스트 생성은 샘플링의 문제다 (온도가 높아질 때)

원문 발행 2026. 11. 17. 12:30원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

Open-weight 모델은 생성 길이가 길어질수록 성능 저하가 관찰되며, 샘플러(sampler) 설정이 중요합니다. 본 연구는 다양한 벤치마크에서 top-nsigma 샘플러가 높은 온도에서도 안정적인 정확도를 유지하는 반면, top-p 등 다른 방식은 무너지는 것을 입증했습니다.

핵심 포인트

  • 장문 컨텍스트 생성 시 모델 성능 저하 현상이 광범위하게 관찰됨.
  • 온도가 높아질수록 후보 토큰 풀을 작고 안정적으로 유지하는 샘플러가 정확도를 보존함.
  • top-nsigma는 높은 온도에서도 코딩 에이전트의 문제 해결 능력을 크게 향상시킴 (46~62개).
  • top-p 방식은 온도가 높아지면 후보 토큰 풀이 급증하여 성능이 불안정해짐.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0