$D^3$: LLM 학습을 위한 동적 방향성 그래프 제약 데이터 스케줄링 (Dynamic Directional Graph-Constrained

학습 데이터는 대규모 언어 모델 (LLMs) 최적화에서 핵심적인 역할을 수행하며, 이는 데이터 스케줄링 (data scheduling) 전략에 대한 광범위한 연구를 촉진하고 있습니다. 기존의 대부분의 접근 방식은 전체적인 데이터 분포를 조정하는 데 집중하지만, 학습 과정 중 샘플 간의 근본적인 상호작용은 간과합니다. 그러나 우리는 이러한 상호작용을 무시할 수 없다고 주장합니다. 실제 세계의 데이터 샘플들은 서로에게 방향성 영향 (directional influences)을 미치는 경우가 빈번하며, 이로 인해 학습 순서가 매우 중요해지기 때문입니다. 직관적으로, 우리는 학습 효율성을 높이기 위해 더 큰 영향력을 가진 학습 단위 (train-units)에 우선순위를 부여할 수 있습니다. 본 연구에서는 동적 방향성 그래프 제약 데이터 스케줄링 프레임워크인 $D^3$를 제안합니다. $D^3$는 학습 단위 간의 복잡한 상호작용을 손실 기반 의존성 (loss-based dependencies)을 나타내는 에지 (edges)를 가진 동적 영향 그래프 (dynamic influence graph)로 공식화합니다. 그런 다음 이 그래프 상에서 제약 최적화 문제 (constrained optimization problem)를 해결하여 학습 순서를 도출하며, 이를 통해 데이터 시퀀스가 학습 전반에 걸쳐 진화하는 정보 흐름을 준수하도록 보장합니다. 우리의 접근 방식은 이론적 근거를 갖추고 있으며, 사전 학습 (pre-training) 및 사후 학습 (post-training) 단계 모두에서 기존의 데이터 스케줄링 방법들보다 일관된 개선을 보여줍니다. 또한, 확장성 (scalability)을 위해 $D^3$는 추가적인 계산 오버헤드 (computational overhead)를 관리 가능한 범위 내로 유지하는 효율적인 근사 알고리즘 (approximation algorithm)을 채택합니다. 향후 연구를 위해 코드는 https://github.com/xuyj233/D3 에서 확인할 수 있습니다.