Qwen 3.6 35B A3B 모델의 샘플링 파라미터 최적화는 매우 까다로운 작업입니다. 기존에 권장되는 설정들이 과연 최적인지 의문을 제기하며, 이 과정에서 여러 기술적 난관과 계산 자원 문제를 직면하고 있습니다.

1. 현행 추천 설정의 한계점 분석:
가장 먼저 지적된 부분은 Qwen 3.5와 3.6에 동일한 샘플링 파라미터가 권장된다는 점입니다. 하지만 실제 테스트 결과, 다른 모든 조건(양자화 방식 포함)이 동일함에도 불구하고 3.6 버전에서는 일일 작업 중 도구 호출 루프(tool call loops) 문제가 발생하여 온도를 높이는 방식으로 해결해야 했습니다. 이는 모델 간의 미묘한 성능 차이를 시사합니다.

또한, 제시된 파라미터 값들이 너무 '깔끔하게' 떨어지는 경향이 있어 광범위한 미세 조정(extensive fine tuning)을 거치지 않았을 가능성을 제기하며 신뢰성에 의문을 표하고 있습니다. 특히 min_p=0.0 권장 사항에 대해서는, 낮은 min_p 값이 오히려 다른 샘플러들이 덜 제한적인 토큰을 허용하게 만들 수 있어 최적이라고 보기 어렵다는 분석을 제시합니다.

2. 적절한 평가 벤치마크의 어려움:
샘플링 파라미터 차이를 객관적으로 측정할 만한 벤치마크를 찾는 것이 핵심 문제입니다. 저자는 GSM8K, IFEval 등은 이미 포화 상태(saturated)라고 판단했습니다.

대안으로 GPQA Diamond을 사용했으나, 이 역시 실행 시간이 길고 (3090 GPU 기준 한 번에 약 3시간 소요), 최소한 2.5%의 분산(variance)이 존재하여 신뢰성 있는 결과를 얻기 위해서는 각 설정당 최소 10회 이상의 반복 테스트가 필요합니다.

3. 최적화 계획과 계산 자원 문제:
저자는 체계적인 다단계 최적화 계획을 세웠습니다. 첫째, Qwen 권장 범위의 평균값을 중심으로 **단일 변수 탐색(univariate search)**을 10개 지점에서 수행할 예정입니다. 둘째, 이 결과를 바탕으로 각 파라미터별로 그리드 검색(grid search)을 진행하며 3가지 값(최적값 및 전체 범위에서 하락 폭의 50%에 해당하는 지점)을 테스트합니다. 마지막 단계에서는 Optuna 같은 프레임워크를 사용하여 미세 조정(squeezing the last bit)을 시도할 계획입니다.

하지만 이 과정만으로도 GPU 자원 측면에서 약 5개월의 컴퓨팅 시간이 필요하며, 이는 다음 Qwen 버전 출시 시점과 맞물려 현실적인 어려움을 겪고 있습니다. 따라서 적절한 시간 대비 효율성을 가진 새로운 벤치마크나 평가 방법론에 대한 조언을 구하고 있습니다.

4. 결론 및 제언:
샘플링 자체의 특성상 결과값에 분산이 발생하기 때문에, 정확한 비교를 위해서는 엄청난 양의 질문으로 평균화하는 것이 필요합니다. 따라서 현재로서는 시간과 자원 효율성을 높일 수 있는 새로운 벤치마크나 평가 기법 공유가 절실합니다.