MinT: 수백만 개의 LLM을 학습 및 서빙하기 위한 관리형 인프라

요약

MinT(MindLab Toolkit)는 수백만 개의 LLM 정책을 효율적으로 학습하고 서비스하기 위한 관리형 인프라 시스템입니다. 이 시스템은 비용이 많이 드는 베이스 모델을 공유하고, LoRA 어댑터 수정본만을 롤아웃, 업데이트, 서빙하는 방식으로 작동합니다. MinT는 Scale Up(1T+ 파라미터 지원), Scale Down(어댑터 전용 핸드오프를 통한 속도 향상), Scale Out(정책 주소 지정 가능성을 워킹셋으로부터 분리)의 세 가지 축을 확장하여 대규모 정책 관리 및 서빙 능력을 제공합니다.

핵심 포인트

• MinT는 LoRA 어댑터를 활용하여 단일 베이스 모델 위에서 수백만 개의 LLM 정책을 효율적으로 관리하고 서비스할 수 있게 합니다.
• Scale Up 측면에서는 MLA, DSA 등 프런티어 아키텍처를 포함하여 1조(1T) 파라미터 이상의 학습 및 서빙을 검증했습니다.
• Scale Down 측면에서 어댑터 전용 핸드오프는 기존 대비 상당한 속도 단축 효과를 보여줍니다 (예: 30B MoE에서 2.85배 단축).
• Scale Out은 정책 주소 지정 가능성을 분리하여, 수백만 개의 정책 카탈로그와 클러스터 규모의 활성 웨이브를 지원합니다.
• MinT는 복잡한 분산 학습 및 서빙 과정을 서비스 인터페이스 뒤로 숨겨 사용 편의성을 높였습니다.