MAdam: 메트릭 인지형 다중 목적 Adam (Metric-Aware Multi-Objective Adam)

다중 목적 최적화 (Multi-objective optimization, MOO)는 많은 머신러닝 문제의 근간을 이루지만, 손실 균형 (loss-balancing), 그래디언트 균형 (gradient-balancing), 그리고 파레토 기반 (Pareto-based) 계열의 MOO 솔버들은 거의 예외 없이 조정된 방향을 Adam~ extcite{kingma2015adam}에 전달합니다. 우리는 이러한 결합이 솔버의 의도와 옵티마이저의 실행 사이에 두 가지 체계적인 격차를 발생시킨다는 것을 보여줍니다. 첫 번째는 extit{가중치 불일치 (weighting mismatch)}입니다. Adam의 2차 모멘트 분모는 시간에 따라 변하는 선호도 벡터 (preference vector)를 그래디언트 통계량과 얽히게 만들어, 선호도를 이력 평균 (history average)으로 한계화하고 뚜렷한 파레토 트레이드오프 (Pareto trade-offs)를 거의 균일한 혼합물로 붕괴시킵니다. 두 번째는 extit{기하학적 불일치 (geometric mismatch)}입니다. Adam의 적응형 메트릭 (adaptive metric)은 MOO 솔버가 가정하는 유클리드 기하학 (Euclidean geometry)을 왜곡하여, 정렬된 목적 함수들을 겉보기에 상충하는 것으로 변질시킵니다. 이 두 가지를 동시에 해결하기 위해, 우리는 솔버와 옵티마이저를 모두 변경하지 않고도 즉시 사용할 수 있는 래퍼 (wrapper)인 extbf{MAdam} (Metric-Aware Multi-Objective Adam)을 소개합니다. MAdam은 스칼라화된 목적 함수 (scalarized objective)의 선호도 조건부 곡률 (preference-conditioned curvature)에 의해 조정된 방향을 전처리합니다. 이렇게 백색화된 (whitened) 입력에 대해 Adam의 2차 모멘트는 항등 행렬 (identity)로 수렴하므로, 실제로 구현된 업데이트는 선호도 조건부 메트릭 (preference-conditioned metric)에 의해 제어됩니다. 다중 작업 학습 (multi-task learning), 파레토 프런트 복구 (Pareto-front recovery), 물리 정보 신경망 (physics-informed neural networks), 그리고 의료 영상 분야 전반에 걸쳐, MAdam은 모든 솔버 계열에서 Adam보다 일관되게 개선된 성능을 보여줍니다.