대규모 언어 모델(Large language models, LLM)은 지능형 튜터링 시스템(Intelligent tutoring systems)에 활용될 강력한 잠재력을 가지고 있지만, 최종 정답을 공개하지 않고 학생을 안내하는 것과 같은 효과적인 교육학적 전략(Pedagogical strategies)을 따르는 데 종종 실패합니다. 본 연구에서는 튜터링 대화에 대한 지도 미세 조정(Supervised fine-tuning, SFT)과 합성 선호도 쌍(Synthetic preference pairs)에 대한 직접 선호 최적화(Direct Preference Optimization, DPO)를 결합하여, 수학적 오류 교정(Math mistake remediation)을 위한 2단계 정렬 파이프라인의 적용을 연구합니다. 우리는 기존의 튜터링 코퍼스(Tutoring corpora)와 스캐폴딩(Scaffolding) 및 사실성(Factuality)과 같은 교육학적 차원에 따라 생성된 합성 데이터를 통합한 데이터셋을 구축하였으며, 풀이의 정확성(Solution correctness)과 정답(Gold answers)을 포함하는 다양한 입력 구성(Input configurations)을 연구합니다. 실험 결과, 이 접근 방식은 기본 모델(Base models) 및 기존 튜터링 모델에 비해 사실적 정확성(Factual accuracy)과 교육학적 품질(Pedagogical quality)을 모두 향상시키는 것으로 나타났습니다. 인간 평가(Human evaluation)는 우리의 최상위 모델이 강력한 독점적 베이스라인(Proprietary baseline)과 경쟁할 만한 수준임을 보여주는 동시에, 개방성(Openness), 투명성(Transparency), 재현성(Reproducibility) 측면에서 추가적인 이점을 제공함을 나타냅니다. 우리의 결과는 선호도 기반의 교육학적 정렬(Preference-based pedagogical alignment)의 효과를 강조하는 동시에, 튜터링 품질을 신뢰성 있게 평가하는 데 따르는 과제들을 드러냅니다.