사전 학습 (Pretraining) 데이터 처리는 대규모 언어 모델 (LLMs)의 다운스트림 성능에 결정적인 역할을 합니다. 그러나 기존의 많은 방식은 코퍼스 (Corpus) 또는 도메인 (Domain) 수준에서 고정된 처리 전략을 정의하고, 각 예시의 요구 사항에 맞게 조정하지 않은 채 이를 많은 예시에 일률적으로 적용합니다. 우리는 서로 다른 처리 연산 (Operations)을 통합하고 각 예시를 위한 예시별 파이프라인 (Example-specific pipeline)을 오케스트레이션하는 프레임워크인 DataOrchestra를 제안합니다. 사전 학습 데이터의 청크 (Chunk)가 주어지면, 오케스트레이터 (Orchestrator)는 이를 삭제할지, 그대로 둘지, 또는 정제 (Clean)할지를 결정합니다. 청크를 정제하기 위해, 프로그램 방식의 편집 (Programmatic editing)부터 다양한 형태의 LLM 기반 재작성 (Rewriting)에 이르기까지 하나 이상의 다운스트림 연산을 선택합니다. 각 재작성 단계에 대해, 오케스트레이터는 구체적인 지시문 (Instruction)을 추가로 생성하며, 이는 해당 다운스트림 도구 모델 (Downstream tool model)에 의해 실행됩니다. 우리는 DataOrchestra로 처리된 웹 데이터 상에서 0.5B부터 7B 규모의 모델을 처음부터 (From scratch) 사전 학습시켰으며, 11개의 벤치마크 (Benchmarks) 전반에 걸쳐 개별 데이터 처리 방법들보다 안정적인 평균 이득을 관찰했습니다. DataOrchestra는 수학 (Math) 연속 사전 학습 (Continued pretraining)에도 효과적이며, 불필요한 다운스트림 연산을 건너뜀으로써 처리 연산량 (Compute)을 줄이면서도 더 강력한 처리 베이스라인 (Baselines)들을 능가하는 성능을 보여줍니다.