torchtune: PyTorch 네이티브 사후 학습 (post-training) 라이브러리

현대의 대규모 언어 모델 (LLMs)은 강력한 다운스트림 성능 (downstream performance)을 달성하기 위해 일반적으로 다단계 학습 파이프라인 (multistage training pipelines)을 필요로 하며, 이 과정에서 사후 학습 (post-training)은 오픈 웨이트 모델 (open-weight models)을 적응시키기 위한 주요 인터페이스 역할을 합니다. 우리는 LLM의 사후 학습 라이프사이클 (post-training lifecycle)을 간소화하여 효율적인 미세 조정 (fine-tuning), 실험, 그리고 배포 지향적 워크플로우 (deployment-oriented workflows)를 가능하게 하도록 설계된 PyTorch 네이티브 (PyTorch-native) 라이브러리인 torchtune을 소개합니다. 투명성과 확장성을 희생하면서 사용 편의성, 특화된 레시피 (specialized recipes), 또는 하드웨어 효율성에만 최적화된 기존의 많은 미세 조정 프레임워크 (fine-tuning frameworks)들과 달리, torchtune은 모듈성 (modularity), 해킹 가능성 (hackability), 그리고 기저의 PyTorch 구성 요소에 대한 직접적인 접근을 강조합니다. 본 논문에서는 torchtune의 설계 원칙을 제시하고, 이러한 원칙이 모델 빌더 (model builders), 학습 레시피 (training recipes), 그리고 분산 학습 스택 (distributed training stack)에 어떻게 반영되어 있는지 설명하며, 대표적인 사후 학습 설정 전반에 걸쳐 이 라이브러리를 평가합니다. 우리는 Axolotl 및 Unsloth를 포함한 인기 있는 미세 조정 프레임워크들과 비교하였으며, torchtune이 빠른 연구 반복 (research iteration)을 위한 충분한 유연성을 유지하면서도 많은 설정에서 강력한 성능과 메모리 효율성을 제공함을 보여줍니다. 이러한 결과는 torchtune을 재현 가능한 LLM 사후 학습 연구를 위한 실질적인 토대로 자리매김하게 합니다.