지도 미세 조정 (Supervised fine-tuning, SFT)은 대규모 언어 모델 (Large Language Models, LLMs)에 데이터 레이스 탐지 (data race detection) 및 벤치마크 질의응답과 같은 고성능 컴퓨팅 (High-Performance Computing, HPC) 작업을 위한 도메인 지식을 부여할 수 있습니다. 그러나 지식만으로는 작업에 적합한 행동을 보장할 수 없습니다. C/C++ 데이터 레이스 샘플의 88.65%를 정확하게 분류하는 동일한 SFT 모델이 사실적 질의에 대해서는 장황하고 부정확한 답변을 생성하며, MLPerf 응답의 65.9%가 40자를 초과하는 현상이 나타납니다. 강화 학습 (Reinforcement Learning, RL) 사후 학습 (post-training)은 토큰 수준의 모방보다는 작업별 보상 (task-specific rewards)을 최적화함으로써 이러한 격차를 해결합니다. 그러나 HPC 작업은 극심한 이질성 (heterogeneity)을 보입니다. 이진 분류 (binary classification), 사실적 질의응답 (factual QA), 의미론적 생성 (semantic generation)은 답변 길이에서 58배의 차이를 보이며, 세 가지의 뚜렷한 보상 분포를 나타내고, 매우 다양한 SFT 정확도를 보입니다. 이는 GRPO와 같은 균일 가중치 RL 방법론을 차선책으로 만듭니다. 우리는 신뢰도 변조 어드밴티지 (confidence-modulated advantage)를 통해 응답별 중요도 가중치 (per-response importance weighting)를 도입하는 HARGO (Heterogeneity-Aware Reward-Guided Optimization)를 제안합니다. 이는 작업 유형 레이블을 요구하지 않고, 그룹 수준의 보상 대비 (reward contrast)로부터 판별 신호 (discrimination signal)를 계산하고 참조 모델의 로그 확률 (log-probabilities)로부터 신뢰도 신호 (confidence signal)를 계산한 다음, 응답별 가중치를 계산하기 전에 어드밴티지를 변조합니다. 4개의 HPC 작업과 9개의 방법론에 대해, HARGO는 세 가지 주요 지표 모두에서 최고의 성능을 달성했습니다: WinRate 54.62%, Data Race F1 91.30%, 그리고 PLP Similarity 0.8558. 절제 연구 (Ablation)를 통해 두 신호 모두의 상호 보완적인 기여를 확인했습니다. HARGO는 이질적인 HPC 작업에 대해 비교된 방법론들 중 최고의 전반적인 정렬 (alignment) 품질을 확립합니다.