Optimizer-Aware 온라인 LLM 데이터 선택 구현 방법

핵심 요약

2026년 3월 Fangxin Wang 등이 발표한 arXiv 논문은 LLM 미세 조정 (Fine-tuning)의 효율성과 성능을 향상시키기 위해 "Filter-then-Weight" 알고리즘을 제안하는 “2단계 Optimizer-Aware 온라인 데이터 선택 (Two-Stage Optimizer-Aware Online Data Selection)” 프레임워크를 소개합니다. 데이터 샘플을 정적으로 순위 매기는 대신, 이 프레임워크는 데이터 선택을 적응형 옵티마이저 (Adaptive Optimizers)의 기하학적 구조를 고려하는 동적인 프로세스로 취급하여, 정렬 불량 (Misalignment)을 방지하고 수렴 (Convergence)을 개선합니다. 이 방법론은 후보 식별을 위한 필터 단계 (Filter stage)와 정밀한 업데이트 구축을 위한 가중치 단계 (Weight stage)를 거치며, 동일한 데이터 예산 내에서 계산 오버헤드를 줄이면서 다운스트림 태스크 (Downstream task) 성능을 향상시킵니다.

LLM 미세 조정을 개선하려는 대부분의 노력은 모델 아키텍처 (Model architecture)나 옵티마이저 설계에 집중되어 있습니다. 하지만 Fangxin Wang과 동료들의 2026년 3월 arXiv 논문은 더 큰 지렛대는 어떤 데이터로, 언제 학습하느냐일 수 있다고 주장합니다. 그들의 “Filter-then-Weight” 프레임워크는 데이터 선택을 전처리 단계가 아닌, 각 학습 업데이트를 실시간으로 재구성하는 능동적인 Optimizer-aware 프로세스로 취급합니다.

대규모 미세 조정 파이프라인을 운영하는 팀들에게 이러한 효율성 측면의 함의는 매우 중요합니다. 표준적인 데이터 선택 방식은 샘플을 고정된 유용성 점수를 가진 정적인 객체로 취급합니다. 즉, 가장 좋은 것을 골라 학습하고, 이를 반복하는 방식입니다. 이는 단순한 경사 하강법 (Gradient descent)에는 상당히 잘 작동하지만, AdamW 또는 Muon과 같은 적응형 옵티마이저 (Adaptive optimizers)가 관여할 때는 무너집니다. 이러한 옵티마이저들은 파라미터 공간 (Parameter space)을 직선으로 이동하지 않습니다. 대신 누적된 그래디언트 이력 (Gradient history)에 의해 형성된 곡선 궤적을 따릅니다. 만약 데이터 선택이 이러한 기하학적 구조를 무시한다면, 선택된 샘플들이 옵티마이저가 효율적으로 따라갈 수 없는 방향으로 모델을 밀어붙일 수 있습니다.

Wang et al.의 프레임워크는 데이터 선택을 "옵티마이저 인식 업데이트 매칭 (optimizer-aware update matching)"으로 공식화함으로써 이 문제를 직접적으로 해결합니다. 즉, 결과적인 업데이트가 옵티마이저의 단순화된 근사치가 아니라, 옵티마이저의 실제 현재 상태 하에서의 목표 방향을 근사하도록 샘플을 선택하고 가중치를 부여하는 방식입니다. 추론 중심의 학습이 LLM의 행동을 어떻게 형성하는지에 대한 더 심도 있는 내용은 OpenAI의 사고 사슬 (chain-of-thought) 학습 방식에 대한 저희의 보도 자료를 참조하십시오. 다음은 자체 파인튜닝 (fine-tuning) 파이프라인 내에 이러한 원칙을 적용하고자 하는 기업 ML 팀을 위한 실무 구현 가이드입니다.

1단계: 기초 및 데이터 준비
선택 로직을 다루기 전에, 명확한 목표와 동적 온라인 선택을 지원할 수 있는 데이터 인프라가 필요합니다. 이러한 기초 작업을 건너뛰는 것은 하류 (downstream) 결과의 유효성을 상실시키는 가장 빠른 방법입니다.

명확한 학습 목표 및 타겟 지표 정의: 파인튜닝이 달성해야 하는 바를 구체적으로 정하십시오. 분류 작업에서의 F1 점수 향상, 요약 작업에서의 더 나은 ROUGE 점수, 또는 더 강력한 코드 생성 벤치마크 등이 될 수 있습니다. 이러한 목표는 선택 기준을 직접적으로 형성합니다. 무엇인가를 변경하기 전에 현재의 학습 체제 하에서의 베이스라인 성능을 설정하십시오. 깨끗한 베이스라인 없이는 새로운 접근 방식이 실제로 무엇을 제공하는지 측정할 수 없습니다.

데이터 코퍼스 (corpus) 및 인프라 준비: 데이터 품질은 사후 고려 사항이 아니라 전제 조건입니다. 중복성과 과적합 (overfitting) 위험을 줄이기 위해 MinHash 또는 SemDeDup과 같은 기술을 사용하여 코퍼스를 정제하고 중복을 제거하십시오. 필요한 경우 개인정보 (PII) 필터링을 적용하십시오. 특히 온라인 선택의 경우, 파이프라인은 효율적인 스트리밍과 동적 배치 (batch) 액세스를 지원해야 합니다. 시작 시 한 번 로드되는 정적 데이터셋은 여기에서 작동하지 않습니다. 테라바이트 규모로 작동하는 모든 작업에 대해서는 수평적으로 확장 가능한 클라우드 기반 데이터 레이크 (data lake) 또는 목적에 맞게 구축된 데이터 플랫폼이 실질적인 선택입니다.

베이스라인 파인튜닝 환경 설정: 복잡성을 추가하기 전에 환경을 표준화하십시오.

이는 베이스 모델(Llama, Qwen 및 이와 유사한 오픈 웨이트 (open-weight) 모델이 일반적인 시작점입니다), 하드웨어 구성, 그리고 결정적으로 옵티마이저 (optimizer)를 고정하는 것을 의미합니다. 옵티마이저 인지형 (Optimizer-aware) 선택은 어떤 옵티마이저를 사용하는지에 따라 민감하게 반응합니다. AdamW와 Muon은 의미 있는 수준으로 서로 다른 업데이트 기하학 (update geometries)을 가지며, 선택 로직은 이에 맞춰 적응합니다. 하이퍼파라미터 (hyperparameters), 학습률 스케줄 (learning rate schedules), 배치 크기 (batch sizes)를 문서화하십시오. Hugging Face Transformers는 PyTorch 또는 TensorFlow와 함께 이 설정을 위한 표준 도구로 남아 있습니다.

온라인 평가를 위한 검증 세트 (Validation Set) 구현: 작고 대표성 있는 검증 세트는 필수적입니다. 이는 최종 평가를 위한 것이 아니라, 학습 중 샘플 유용성 (sample utility) 추정을 안내하는 실시간 신호 역할을 합니다. 이 세트는 타겟 분포 (target distribution)를 밀접하게 반영해야 하며 학습 데이터와 중복되어서는 안 됩니다. 별도로 분리해 둔 테스트 세트 (held-out test set)와 달리, 이 검증 세트는 학습 과정 전반에 걸쳐 반복적으로 쿼리됩니다.

2단계: 필터 단계 — 기하학적으로 유용한 후보 식별
첫 번째 단계는 대규모의 유입 데이터 풀을 옵티마이저의 현재 상태를 고려했을 때 유용한 업데이트를 생성할 가능성이 높은 더 작은 후보 세트로 빠르게 좁힙니다. 목표는 속도입니다. 이 단계는 더 비용이 많이 드는 가중치 계산 (weighting computation)이 실행되기 전에 가치가 낮은 샘플을 빠르게 폐기해야 합니다.

옵티마이저 인지형 샘플 유용성 추정: 핵심 질문은 다음과 같습니다. '옵티마이저의 현재 기하학에 의해 변환된 이 샘플의 그래디언트 (gradient)가 모델을 타겟 방향으로 얼마나 이동시킬 것인가?' 표준적인 그래디언트 정렬 (gradient alignment) 방법들은 종종 단순한 SGD와 유사한 역학 (dynamics)을 가정하는데, 이는 적응형 옵티마이저 (adaptive optimizers)에 대해서는 부정확한 근사치가 될 수 있습니다. 대신 Wang et al.의 프레임워크는 옵티마이저의 프리컨디셔닝된 그래디언트 공간 (preconditioned gradient space)을 고려하는 2차 유용성 (second-order utility)을 근사합니다.

실제 적용 시, 이는 각 샘플의 전처리된 그래디언트 (preconditioned gradient)가 검증 그래디언트 (validation gradient)와 얼마나 잘 일치하는지를 계산하는 것을 의미합니다. 이는 "현재 옵티마이저 (optimizer)의 위치를 고려할 때, 이 샘플이 모델을 올바른 방향으로 유도하는가?"에 대한 대리 지표 (proxy) 역할을 합니다. 인수분해된 외적 그래디언트 표현 (Factorised outer-product gradient representations)을 사용하면 메모리 사용량을 폭증시키지 않으면서도 이러한 계산에 필요한 충분한 정보를 보존할 수 있습니다. 후보 필터링 (Candidate Filtering) 수행: 유용성 점수 (utility scores)를 확보하면, 절대 임계값 (absolute threshold)을 적용하거나 상위 백분위 (top percentile)를 선택하는 방식으로 점수가 높은 샘플만 남겨 들어오는 배치를 필터링합니다. 이는 연산 집약적인 가중치 부여 (weighting) 단계가 실행되기 전에 후보 풀 (candidate pool)을 극적으로 축소합니다. 연구에 따르면, 이 단계에서 들어오는 샘플의 상당 부분을 버리더라도 필터링되지 않은 전체 배치로 학습하는 것보다 더 강력한 미세 조정 (fine-tuning) 결과를 얻을 수 있는데, 이는 남겨진 샘플들이 현재의 업데이트 목표와 기하학적으로 더 잘 정렬되어 있기 때문입니다. 필터링을 위한 연산 효율성 관리: 필터링은 학습의 병목 현상 (bottleneck)이 되지 않도록 충분히 빨라야 합니다. 고스트 그래디언트 (ghost gradients) 및 카운트 스케치 (count sketches)와 같은 기술은 고차원 그래디언트 신호를 저차원 표현으로 압축하여, 전체 그래디언트 행렬을 저장하지 않고도 유용성 추정 (utility estimation)을 가능하게 합니다. 실질적인 목표는 실제 소요 시간 (wall-clock time) 측면에서 무작위 샘플링 (random sampling)과 유사한 필터링 오버헤드를 유지하면서도, 실질적으로 훨씬 더 나은 샘플 품질을 제공하는 것입니다. 3단계: 가중치 단계 (The Weight Stage) — 정밀한 복합 업데이트 구축. 필터링은 어떤 샘플이 고려할 가치가 있는지를 식별합니다. 가중치 부여 (Weighting)는 각 샘플이 실제 파라미터 업데이트 (parameter update)에 얼마나 기여할지를 결정합니다. 이러한 구분은 매우 중요한데, 개별 유용성 점수가 높더라도 중복성 (redundancy)을 고려하지 않기 때문입니다. 즉, 동일한 그래디언트 정보를 전달하는 높은 점수의 샘플 두 개는 서로 보완적인 방향을 가리키는 두 개의 샘플보다 가치가 낮습니다.

제약 조건이 있는 가중치 부여 문제 공식화 (Formulate the Constrained Weighting Problem): 여기서의 과제는 필터링된 후보군에 비음수(non-negative) 가중치를 할당하여, 이들의 가중치가 적용된 옵티마이저 전처리된 그래디언트 합(optimizer-preconditioned gradient sum)이 타겟 그래디언트(target gradient) — 일반적으로 검증 세트(validation set) 또는 전체 배치 그래디언트(full-batch gradient)에서 유도됨 — 를 가장 잘 근사하도록 하는 것입니다. 표준적인 제약 조건에는 가중치의 합을 고정된 값으로 요구하거나, 사용 중인 하드웨어에 적합한 유효 배치 크기(effective batch size)를 유지하는 것이 포함됩니다. 이러한 공식화는 개별 유틸리티 점수 산출(individual utility scoring)로는 처리할 수 없는 샘플 간의 중복성(inter-sample redundancy)을 명시적으로 다룹니다.

최적의 샘플 계수 산출 (Solve for Optimal Sample Coefficients): 중간 규모의 후보군 세트의 경우, 이차 계획법(quadratic programming)을 통해 다룰 수 있으며 신뢰할 수 있는 가중치 할당을 생성할 수 있습니다. Wang 등의 프레임워크는 필터링(filtering) 단계와 가중치 부여(weighting) 단계를 분리하여 유지하는 것을 강조합니다. 이들을 결합하여 해결하면 불안정성이 발생할 수 있기 때문입니다. 계산 예산(computational budget)이 부족하다면 필터링된 후보군 전체에 단순 균등 가중치(uniform weighting)를 부여하는 것이 합리적인 시작점입니다. 파이프라인이 안정화되고 한계 이득(marginal gain)에 대한 명확한 증거가 확보되면 중요도 가중치 방식(importance-weighted schemes)으로 전환하십시오.

가중치 적용 배치 통합 (Integrate the Weighted Batch into the Training Loop): 가중치가 할당되면 필터링된 후보군에서 비례적으로 샘플을 추출하고, 결과물인 배치를 표준 학습 루프(training loop)에 통과시킵니다. 유틸리티 추정(utility estimation), 필터링(filtering), 가중치 부여(weighting), 그래디언트 단계(gradient step)로 이어지는 전체 사이클은 온라인(online)으로 실행됩니다. 즉, 매 반복(iteration)마다 모델의 진화하는 파라미터 상태(parameter state)에 적응한다는 의미입니다. 이것이 옵티마이저 인식 선택(optimizer-aware selection)을 정적 전처리(static preprocessing)와 구분 짓는 핵심 속성입니다.

4단계: 평가 및 지속적 개선 (Phase 4: Evaluation and Continuous Improvement) 새로운 데이터 선택 전략은 일회성 벤치마크가 아닌 엄격하고 지속적인 평가가 필요합니다. 모델의 동작과 데이터의 특성은 시간이 지남에 따라 모두 변화하며, 선택 로직 또한 이에 발맞추어 나가야 합니다.

학습 역학 및 수렴 모니터링 (Monitor Training Dynamics and Convergence): 학습 손실(training loss), 검증 손실(validation loss), 그래디언트 노름(gradient norms)을 전체 과정 동안 추적하며, 1단계에서 설정한 베이스라인(baselines)과 비교하십시오.

효과적인 Optimizer-aware selection(옵티마이저 인식 선택)의 예상되는 특징은 더 빠른 수렴(convergence)과 감소된 학습 단계(training steps)입니다. 또한 불안정성 신호도 주의 깊게 살펴보십시오. 불규칙한 손실 곡선(loss curves)이나 상승하는 그래디언트 노름(gradient norms)은 유틸리티 추정(utility estimation) 또는 가중치 제약 조건(weighting constraints)의 조정이 필요함을 나타낼 수 있습니다.

하위 태스크 성능(Downstream Task Performance) 평가: 수렴 속도는 목적을 위한 수단일 뿐입니다. 중요한 것은 미세 조정(fine-tuned)된 모델이 실제 타겟 태스크에서 더 나은 성능을 보이는지 여부입니다. 1단계에서 정의된 지표를 바탕으로 평가를 수행하고, 동일한 데이터 예산(data budget) 하에서 전체 데이터(full-data) 또는 휴리스틱 기반 선택(heuristic-based selection)을 사용하여 학습된 모델과 직접 비교하십시오. 연구에 따르면 Optimizer-aware selection은 사용 가능한 학습 데이터의 상당 부분이 필터링되더라도 하위 태스크 성능을 향상시킬 수 있습니다. 즉, 처리된 샘플의 원시적인 양(raw volume)보다 업데이트 신호(update signal)의 품질이 더 중요합니다.

선택 전략의 반복 및 개선: 데이터 선택은 지속적인 과정입니다. 성능이 저조한 사례나 수렴 정체(convergence stalls)를 진단 신호로 활용하십시오. 이러한 현상은 종종 현재 데이터 분포를 반영하지 못하는 잘못 보정된 유틸리티 임계값(utility thresholds)이나 가중치 제약 조건을 가리킵니다. 처음부터 다시 설계하기보다는 2단계 프레임워크 내에서 파라미터 변경을 A/B 테스트하십시오. 모델이 진화하고 데이터 코퍼스(data corpus)가 변경됨에 따라 선택 로직도 함께 진화해야 합니다. 처음부터 품질 검사를 자동화하고 데이터셋 버전 관리(dataset versioning)를 파이프라인에 구축하십시오.

Wang et al.의 프레임워크는 LLM 미세 조정(fine-tuning)을 위한 데이터 선택 접근 방식의 진정한 변화를 나타냅니다. 즉, 정적인 휴리스틱(static heuristics)에서 매 학습 단계마다 적응하는 동적이고 옵티마이저 정보에 기반한 큐레이션(optimizer-informed curation)으로 이동하는 것입니다. 컴퓨팅 비용이 실질적이고 데이터 품질이 결과의 품질을 결정하는 대규모 운영 엔터프라이즈 팀에게, 이러한 원칙적인 접근 방식은 구현 오버헤드를 감수할 가치가 있습니다.

훈련 샘플의 가치가 단순히 내용(content)만이 아니라 문맥(context)에 따라 달라진다는 동일한 근본 논리는, 향후 오픈 소스(open-source) 및 독점적(proprietary) 훈련 파이프라인이 효율성 측면에서 어떻게 갈라질지를 결정하는 지침이 될 가능성이 높습니다. AI 연구 및 혁신에 대한 더 많은 내용을 확인하시려면, 저희의 AI Research 섹션을 방문해 주세요. 원문은 https://autonainews.com/how-to-implement-optimizer-aware-online-llm-data-selection/ 에 게시되었습니다.