임상 데이터셋 압축을 위한 기하학적 궤적 근사치(Surrogates) 연구

대규모 실제 데이터를 활용하는 것은 인공지능 모델 개발의 핵심이지만, 데이터 접근성이나 프라이버시 문제로 인해 모든 데이터를 학습에 사용할 수 없습니다. **데이터셋 응축(Dataset Condensation)**은 이러한 문제를 해결하기 위해, 원본 대규모 데이터가 가진 훈련 유용성을 유지하면서도 크기가 작고 합성된 데이터셋을 구축하는 방법론입니다.

이 중재 분야에서 광범위하게 사용되는 접근법 중 하나는 **궤적 매칭(Trajectory Matching, TM)**입니다. TM은 모델의 파라미터가 실제 데이터를 학습하며 변화하는 훈련 과정의 '경로'를 합성 데이터셋에 반영하여 지도합니다. 그러나 본 논문은 이 감독 신호(supervision signal)의 구조가 충분히 이해되지 않았음을 지적합니다.

연구진은 기하학적 분석을 통해, 고정된 합성 데이터셋이 아무리 노력해도 훈련 과정에서 발생하는 파라미터 변화의 제한적인 범위만을 재현할 수 있다는 점을 밝혀냈습니다. 특히 감독 신호가 스펙트럼적으로 넓을 경우(spectrally broad), 이는 **조건부 표현 가능성 병목 현상(conditional representability bottleneck)**을 야기합니다.

이러한 불일치에 착안하여, 연구진은 **베지어 궤적 매칭(Bezier Trajectory Matching, BTM)**이라는 새로운 방법을 제안했습니다. BTM의 핵심 아이디어는 무작위 경사 하강법(Stochastic Gradient Descent, SGD)을 통해 얻는 복잡하고 노이즈가 많은 훈련 궤적 대신, 모델의 초기 상태와 최종 상태를 연결하는 **이차 베지어 곡선 근사치(quadratic Bezier trajectory surrogates)**를 사용하는 것입니다. 이 근사치는 경로를 따라 평균 손실(average loss)을 줄이도록 최적화됩니다.

BTM은 기존 TM 방식이 제공하던 넓고 복잡한 감독 신호를, 고정된 합성 데이터셋의 최적화 제약 조건에 더 잘 맞는 **구조화되고 낮은 순위(structured, lower-rank)**의 신호로 대체합니다. 또한, 궤적 저장 공간을 크게 줄이는 부가적인 이점도 제공합니다.

실험 결과는 임상 분야 데이터셋 5개를 대상으로 진행되었으며, BTM이 표준 TM 방식과 비교하여 일관되게 동등하거나 더 나은 성능을 보였습니다. 특히, 발생률이 낮거나(low-prevalence) 합성 예산(synthetic budget)이 적은 환경에서 가장 큰 개선 효과를 나타냈습니다.

결론적으로, 본 연구는 효과적인 궤적 매칭의 성공 여부가 단순히 무작위 최적화 경로를 재현하는 것이 아니라, 감독 신호 자체를 구조화하고 제어하는 능력에 달려 있음을 강력하게 시사합니다.