Qwen 3.6 35B 모델 샘플링 파라미터 최적화 가이드

요약

본 글은 대규모 언어 모델(LLM)인 Qwen 3.6 35B의 샘플링 파라미터 최적화에 대한 어려움을 공유합니다. 기존 권장 설정이 최적이 아닐 수 있다는 의문을 제기하며, 특히 min_p=0.0 같은 값에 대해 회의적인 시각을 보입니다. GSM8K나 IFEval 같은 벤치마크는 포화 상태이며, GPQA Diamond가 가장 나은 대안이지만 실행 시간이 길고 분산(variance)이 존재합니다. 저자는 단일 변수 탐색(univariate search) 후 그리드 검색(grid search), 마지막으로 Optuna를 이용한 최적화를

핵심 포인트

• Qwen 3.6 35B 모델의 샘플링 파라미터는 Qwen 3.5와 동일하게 권장되지만, 실제 사용 시 도구 호출 루프(tool call loops) 같은 문제 발생 등 차이점이 발견되었습니다.
• 벤치마크로 GSM8K나 IFEval은 이미 포화 상태이며, GPQA Diamond가 가장 나은 대안이지만 한 번 실행에 약 3시간이 소요됩니다.
• 최적화를 위해 단일 변수 탐색(univariate search) 후 그리드 검색(grid search), 마지막으로 Optuna를 이용한 다단계 접근법을 계획했으나, 계산 비용 측면에서 매우 부담이 됩니다.
• 샘플링 파라미터의 차이를 평가하려면 로그 확률 기반 벤치마크가 아닌 생성적 벤치마크(generative benchmarks)를 사용해야 하며, 이는 시간이 오래 걸립니다.