이미지 모델의 전이 학습에서 어떤 층을 어떻게 학습할 것인가?
요약
이미지 모델의 전이 학습 시 최적의 층 학습 전략을 분석합니다. Full Fine-Tuning, Linear Probing, LP-FT 등 다양한 학습 방식의 특징과 데이터 규모 및 분포에 따른 성능 차이를 다룹니다.
핵심 포인트
- 데이터가 적을 때는 Linear Probing이 효율적이며, 많아질수록 Full Fine-Tuning이 유리함
- FT는 특징 왜곡(Feature Distortion) 위험이 있어 OOD 데이터에서 LP보다 성능이 낮을 수 있음
- LP-FT 방식은 Linear Probing의 안정성과 FT의 고성능을 결합한 전략임
- 태스크와 데이터 특성에 따라 Partial Freeze나 Diff-LR 등 맞춤형 전략 검토 권장
바쁜 사람들을 위한 요약
- 이미지 모델의 전이 학습 (Transfer Learning)에는 모델 전체를 학습하는 Full Fine-Tuning (FT), 백본 (Backbone)을 동결하고 헤드 (Head)만 학습하는 Linear Probing (LP) 외에도, 그 중간 단계인 Partial Freeze, 층마다 학습률을 다르게 하는 Diff-LR, LP 이후에 FT를 수행하는 2단계 방식인 LP-FT와 같은 학습 전략이 있다.
- CNN의 하위 층은 에지 (Edge) 등 범용적인 특징을, 상위 층은 태스크 특화 특징을 학습하며, 사전 학습 태스크와 전이 대상 태스크가 유사하지 않더라도 랜덤 초기화 (Random Initialization)보다 전이 학습이 높은 성능을 내기 쉽다.
[1] - ImageNet의 분류 정확도가 높은 모델일수록 전이 후의 성능도 높은 경향이 있다. 다만, 데이터 수가 적을 때는 LP가 FT와 대등하거나 그 이상일 수 있지만, 데이터가 늘어날수록 FT가 우세해지며, 미세한 차이를 다루는 fine-grained 태스크에서는 고정된 특징만으로는 성능을 내기 어렵다.
[2] - FT는 백본의 범용적인 특징을 파괴하는 (Feature Distortion) 경우가 있어, 전이 대상의 학습 데이터와 동일한 분포의 데이터 (ID)에서는 고성능을 보이지만, 분포가 다른 데이터 (OOD)에서는 LP보다 성능이 떨어질 수 있다. LP-FT는 이 두 가지의 장점을 모두 취할 수 있다.
[3] - 개인적으로는 먼저 Linear Probing을 베이스라인으로 삼고, 필요에 따라 Full Fine-Tuning이나 LP-FT, 혹은 한 단계로 끝낼 수 있는 Diff-LR / Partial Freeze를 검토하는 것을 추천한다.
서론
이미지를 이용한 태스크를 수행할 때, 사전 학습된 모델을 사용하여 다른 태스크로 전이 학습을 하는 경우가 있습니다.
평소에 timm이나 torchvision에 있는 ImageNet으로 사전 학습된 모델을 사용하는 경우가 있는데, 이미지 특징을 추출하는 백본의 가중치까지 포함하여 학습하는 Full Fine-Tuning을 해야 할지, 백본을 고정하고 마지막 분류 헤드만 학습하는 Linear Probing을 해야 할지 고민되는 상황이 있어, 이 부분을 검증한 논문들을 조사했습니다.
이 기사에서는 가능한 한 신뢰할 수 있는 논문을 바탕으로, 주로 이미지 분류 등의 태스크에서 전이 학습을 수행할 때 취할 수 있는 학습 접근 방식의 선택지들을 정리하면서, 각각의 접근 방식에 대해 직관적으로 어떻게 다루어야 하는지를 이해하는 것을 목적으로 합니다.
학습 전략의 종류
이 절에서는 이미지 모델의 전이 학습을 수행할 때의 학습 전략으로서 어떤 종류의 전략이 있는지 소개합니다. 전제로, 어떤 전략이 가장 적합한가는 태스크나 데이터셋에 따라 다르며, 각 수법은 독립적인 것이라기보다 어떤 층을 어떻게 학습해 나갈지에 대한 테크닉이며 중복되는 부분도 있다는 점에 주의해 주세요.
전제 지식
이후에는 ImageNet 1000 클래스로 사전 학습된 이미지 분류 모델을 전이 학습하는 경우를 예로 들어 전제 지식을 소개합니다. 백본이나 헤드와 같은 용어에 익숙하신 분들은 읽지 않고 건너뛰셔도 좋습니다.
여기서 아래 그림과 같이 이미지
이미지 분류 모델의 기본 구조. 백본에서 이미지 특징을 추출하고, 헤드에서 클래스별 로짓 (Logit)으로 변환한다.
많은 모델에서는 이 입력 이미지에 대해 백본 (특징 추출기, feature extractor라고도 불림)을 사용하여 특정 차원의 이미지 특징 벡터로 변환을 수행하고, 태스크 특화 헤드를 통해 특징 차원에서 구하고자 하는 타겟 차원으로 사영 (Projection) 합니다.
분류 태스크의 경우, 예를 들어 ResNet50 모델에서는 GAP를 통과한 후의 특징 차원 2048에서 ImageNet의 1000 클래스 분류를 하기 위해, torch 스타일로는 Linear(in_features=2048, out_features=1000)
와 같은 선형 변환이 적용되는 경우가 많습니다.
헤드의 출력인 로짓 (Logits)은 그대로 다루기 어렵기 때문에, Softmax를 적용하여 합계가 1이 되도록 정규화하고 Argmax를 적용한 결과를 예측된 클래스로 사용합니다.
학습된 이미지 분류 모델을 전이 학습할 경우, 예측하고자 하는 타겟이 ImageNet 1000 클래스와 동일하지 않은 경우가 많을 것입니다. 예를 들어 개 또는 고양이만을 단순하게 학습하는 2클래스 분류 모델을 만드는 경우, 이 헤드의 출력 차원을 1000 클래스에서 2 클래스로 변경하여 다시 학습시키는 것이 필요합니다. 객체 탐지 (Object Detection)나 영역 분할 (Segmentation) 등 좁은 의미의 분류 이외의 태스크를 수행하는 경우, 헤드의 구조 자체도 바꿔야 할 가능성이 높습니다.
여기서 문제가 되는 것은, ResNet과 같은 사전 학습된 (Pre-trained) 모델을 새로운 태스크 (Task)를 위해 전이 학습 (Transfer Learning)할 때, 백본 (Backbone)과 헤드 (Head)를 어떻게 학습하면 좋을 것인가? 하는 점입니다.
Full Fine-Tuning
사전 학습된 모델을 그대로 사용하는 경우, 아래 그림과 같이 백본과 헤드를 포함하여 모델 전체를 다시 학습하는 Full Fine-Tuning (FT)을 고려할 수 있습니다.
Full Fine-Tuning. 백본과 헤드를 포함한 모델 전체를 학습한다
이해를 돕기 위해 위 그림에서는 계속해서 이미지 분류 (Image Classification) 태스크를 예로 들고 있지만, 새로운 전이 태스크용 손실 함수 (Loss Function)로 백본과 헤드를 통째로 추가 학습함으로써, 모델 전체를 새로운 데이터셋 및 손실 설계에 특화시키는 데 적합합니다.
모델 전체의 가중치 (Weight)를 학습 대상으로 하기 때문에 학습 비용이 높으며, 데이터는 충분하지만 사전 학습 모델의 특징 공간 (Feature Space)에서 표현할 수 없거나 어려운 태스크인 경우 등에 자주 쓰이는 방법입니다.
Linear Probing
모델 전체를 학습하는 Full Fine-Tuning에 대해, "백본의 가중치는 동결 (Freeze)하고 헤드 부분만을 학습하는" 방식인 Linear Probing (LP)을 사용하는 경우도 많습니다.
Linear Probing. 백본을 동결하고 헤드만을 학습한다
Linear Probing은 학습된 모델의 사전 학습이 어느 정도 대규모 이미지 데이터로 이루어져 있어, 새로운 태스크용 자체 데이터셋의 이미지 특징도 적절히 추출해 줄 것이라는 가정하에 헤드만을 학습 대상으로 삼습니다. 이를 통해 학습 비용을 낮추면서도, 백본의 특징 추출 부분을 학습으로 인해 망가뜨리지 않으므로 학습에 사용하지 않은 분포 외 데이터 (Out-of-distribution data)에서의 일반화 성능 (Generalization Performance)도 기대할 수 있습니다.
Partial Freeze
위에서 소개한 Full Fine-Tuning과 Linear Probing의 중간 형태인 기법으로 Partial Freeze (부분 동결)가 있습니다.
Partial Freeze. 백본의 하위층을 동결하고 상위층과 헤드를 학습한다
이 기법은 Linear Probing처럼 가능한 한 이미지 특징 추출 부분을 망가뜨리지 않으면서도, 새로운 데이터셋 및 태스크에 특화된 특징도 포착하기를 원하는 요구를 충족시키기 위해 사용되곤 합니다.
Diff-LR
Partial Freeze와 같이 백본의 가중치 변경을 신중하게 진행하고 싶을 때는 Diff-LR (Differential Learning Rates)을 사용하기도 합니다.
Diff-LR. 백본과 헤드에 서로 다른 학습률 (Learning Rate, lr)을 설정하여 학습한다
Diff-LR는 헤드나 백본, 또는 백본 중에서도 상위층 (출력에 가까운 쪽)이나 하위층 (입력에 가까운 쪽)마다 학습률을 다르게 설정함으로써, 특징 추출부터 태스크 고유의 헤드까지 가중치를 어느 정도 변화시킬지를 제어할 수 있는 학습 전략입니다.
위 그림에서는 백본과 헤드에 서로 다른 학습률을 부여하고 있지만, 더욱 세밀하게 층별로 나누어 학습률을 변화시키기도 합니다.
LP-FT
LP-FT는 모델 학습을 Linear Probing을 수행하는 1st stage와 Full Fine-Tuning을 수행하는 2nd stage로 나누어 2단계로 학습하는 방법입니다.
LP-FT. 1st Stage에서 Linear Probing을 수행하고, 2nd Stage에서 Full Fine-Tuning을 수행하는 2단계 학습
LP-FT는 처음에 Linear Probing으로 헤드를 태스크에 적응시킨 후, 백본을 포함한 Fine-Tuning을 진행함으로써 학습된 이미지 특징이 크게 무너지는 것을 방지하는 효과가 있습니다.
학습 전략을 직관적으로 이해하기 위해
이 절에서는 기존 연구를 인용하면서, 위의 학습 전략들을 어떻게 구분하여 사용하는지, 그리고 모델의 관점을 조금이라도 직관적으로 이해하는 것을 목표로 합니다.
특징의 일반화에 대하여
최근에는 대규모 기반 모델 (Foundation Model)이라는 용어도 널리 사용되고 있듯이, 사전 학습이 어느 정도 범용적으로 이루어져 있다면 스크래치 (Scratch)부터 모델을 학습하는 것보다 추가 학습이나 전이 학습을 하는 것이 더 좋을 것이라는 생각은 많은 사람의 공통된 직관일 것입니다.
애초에 이러한 전이 학습 (Transfer Learning), 예를 들어 "사전 학습된 백본 (Backbone)에 이미지 특징 추출을 모두 맡기고 헤드 (Head)만 학습하는 Linear Probing"은 왜 잘 작동하는 것일까요?
딥러닝 (Deep Learning)의 역사에서는 고전적인 연구이지만, Yosinski 등 [1:1]의 "How transferable are features in deep neural networks?"에서는 단순한 CNN을 사용하여 ImageNet 1000 클래스를 무작위로 분할한 클래스(유사한 태스크)와 자연물·인공물로 분할한 클래스(유사하지 않은 태스크, 분포 외 (Out-of-distribution)에 더 가까운 설정)로 나누어, CNN의 이미지 특징의 전이 가능성을 조사했습니다.
그 결과, 입력에 가까운 하위 층 (Lower layers)에서는 이미지의 에지 (Edge)나 색상처럼 크게 변하는 부분과 같은 범용적인 특징이 많은 반면, 상위 층 (Upper layers)으로 출력에 가까워질수록 태스크에 특화된 특징이 나타나 전이되기 어렵다는 것을 밝혔습니다.
이 "하위 층은 범용적이고, 상위 층일수록 태스크 특화적이다"라는 지견은, Partial Freeze로 하위 층을 동결하거나, Diff-LR로 하위 층일수록 학습률 (Learning Rate)을 작게 설정하는 설계의 근거가 되고 있습니다.
참고로, Zeiler 등 [4]에 의한 CNN의 특징 맵 (Feature Map) 시각화를 아래 그림에 나타냅니다.
Zeiler 등 [4:1]에 의한 학습된 CNN의 특징 시각화 (Fig.2에서 Layer 2와 Layer 5를 발췌). 각 층 모두 왼쪽은 deconvnet에 의한 재구성, 오른쪽은 해당 필터를 가장 강하게 활성화시킨 입력 이미지의 패치 (Patch). Layer 2는 에지, 줄무늬, 동심원과 같은 저차원 패턴에 반응하며, 대응하는 이미지는 나뭇결이나 창문 등 피사체가 제각각인 반면, Layer 5는 견종이나 방향이 다른 이미지에 대해 얼굴 주변만이 재구성에 나타나고 있어, 물체 부품 수준의 클래스 특화된 특징이 되어 있다.
또한, 사전 학습 태스크와 전이 태스크가 유사하지 않더라도, 무작위 가중치 (Random weights)에서 시작하는 것보다 전이 학습을 하는 것이 성능이 더 좋다는 점도 보여줍니다.
Linear Probing은 사전 학습된 모델의 우수한 이미지 특징을 사용하여 분리 경계 (Decision boundary)만을 학습하지만, 추출되는 특징이 어느 정도 일반화 (Generalization)되어 있다면 Linear Probing이 유효한 이유가 될 수 있을 것입니다.
사전 학습 성능과 전이 후 성능의 관계
전이 학습이 어느 정도 유효할 것 같다는 점을 알게 되었다면, "사전 학습된 이미지 분류가 우수하다고 해서, 전이 후의 태스크도 높은 정확도로 수행할 수 있는가?"라는 문제가 제기됩니다.
Kornblith 등 [2:1]은 16종류의 학습된 모델을 12개의 데이터셋으로 비교하여, 이미지 특징을 고정하고 로지스틱 회귀 (Logistic Regression)를 하는 경우 (Linear Probing과 같은 설정)와 Full Fine-Tuning을 하는 경우의 정확도를 비교했습니다.
그 결과, 아래 그림과 같이 특징 고정 + 로지스틱 회귀 (왼쪽, r = 0.99)와 Full Fine-Tuning (오른쪽, r = 0.96)의 두 설정 모두에서, 학습된 모델의 ImageNet Top-1 Accuracy와 전이 후의 성능이 강하게 상관되어 있었습니다.
Kornblith 등 [2:2]의 Fig.1. 가로축은 ImageNet Top-1 Accuracy, 세로축은 12개 데이터셋에서의 전이 후 정확도 (logit 변환 후 평균한 log odds)
이 결과로부터, 전이 대상 모델을 선택할 때 어느 정도 ImageNet 분류 정확도가 높은 모델을 사용하는 것은 타당하다고 할 수 있습니다.
또한, 학습 데이터의 샘플 수를 변경했을 때의 비교에서는, 아래 그림과 같이 데이터 수가 적은 경우에는 특징을 고정한 로지스틱 회귀가 Fine-Tuning과 동등하거나 그 이상의 성능을 달성하지만, 데이터 수가 늘어날수록 Fine-Tuning이 우세해지며 그 차이는 벌어집니다.
Kornblith 등 [2:3]의 Fig.9. 클래스당 학습 샘플 수를 변경했을 때의 특징 고정 + 로지스틱 회귀, Fine-Tuning, 무작위 초기화 (Random initialization)의 정확도 비교
나아가, Stanford Cars 데이터셋 (자동차의 차종이나 연도별로 클래스가 나뉘어 있음) 등 세밀한 분류가 필요한 이른바 fine-grained 태스크에서는 로지스틱 회귀의 성능이 낮으며, 이는 ImageNet의 특징만으로는 자동차 간의 미세한 차이를 포착하지 못하기 때문이 아닌가 하는 시사점이 있습니다.
Linear Probing은 항상 유효한가
위의 연구들로부터, 대략적으로 ImageNet으로 사전 학습된 모델은 전이 학습에서 활용할 수 있으며, 무작위로 학습을 시작하는 것보다 좋아 보입니다.
이는 ImageNet 자체가 1000개의 클래스로 이루어진 다양한 물체를 다루는 거대한 데이터셋이며, 전이 원본(transfer source)의 학습된 모델이 이러한 분류를 배우는 과정에서 범용적인 특징(feature)을 학습하고 있다는 점이 기여하고 있다고 볼 수 있습니다.
반면, Stanford Cars 데이터셋의 예에서 나타났듯이, ImageNet의 특징만으로는 완전히 포착할 수 없는 세밀한 식별이 필요한 세밀한 분류 (fine-grained) 태스크나, ImageNet의 학습 데이터와 동떨어진 데이터를 다룰 때는 Linear Probing (LP)만으로는 높은 성능을 낼 수 없는 상황이 발생합니다.
Fine-Tuning이 백본 (backbone)에 미치는 악영향
그렇다면 데이터가 충분히 존재하고, 기존의 학습된 모델로는 이미지의 분리 경계(decision boundary)를 잘 포착하지 못하는 경우에는 망설임 없이 Full Fine-Tuning을 선택하면 될까요? 여기서, 학습 데이터와 다른 분포의 데이터로 평가할 경우, Fine-Tuning에는 함정이 있다는 점이 지적되고 있습니다.
Kumar 등 [3:1]은 Fine-Tuning (FT)과 Linear Probing (LP)의 전이 성능을, 전이 대상 태스크의 학습 데이터와 동일한 분포의 데이터 (ID, In-Distribution)와 전이 대상 태스크의 학습 데이터와 다른 분포의 데이터 (OOD, Out-of-Distribution) 각각에 대해 측정했습니다. 예를 들어 CIFAR-10으로 전이 학습을 했을 경우, CIFAR-10의 테스트 데이터가 ID에 해당하며, 유사한 클래스를 가진 별도의 데이터셋인 STL이 OOD에 해당합니다.
ID 데이터와 OOD 데이터의 이미지 (Li 등 [5]의 논문에서 인용). 이 그림은 OOD 탐지(detection)의 문맥에서 "사전 학습 데이터가 ID, 미지의 클래스가 OOD"인 예시이지만, Kumar 등의 실험에서는 앞서 언급한 바와 같이 전이 대상 태스크의 학습 데이터를 기준으로 ID/OOD가 정의된다는 점에 주의
아래 그림과 같이 Fine-Tuning을 하는 경우, ID 데이터에서는 높은 성능을 자랑하는 반면, OOD 데이터에서는 Linear Probing보다 낮은 결과를 보였습니다.
Kumar 등 [3:2]에 의한 Fig.1. Fine-Tuning은 ID 테스트에서 고정밀도를 보이는 반면, OOD 테스트에서는 Linear Probing에 뒤처지며, LP-FT는 양쪽 모두에서 높은 정밀도를 달성한다
이러한 이유에 대해 Kumar 등은, 무작위로 초기화된 헤드(head)로 Fine-Tuning을 수행하면, 사전 학습을 통해 얻은 우수한 이미지 특징 추출을 수행하는 백본(backbone)의 가중치(weight)가 크게 변동되어 버리며, 학습 중에는 손실(Loss)이 낮아지더라도 이미지 특징의 일반화(generalization) 성능이 떨어지기 때문에 OOD 데이터에서는 성능이 낮아지게 된다고 지적했습니다. 이 현상은 특징 왜곡 (Feature Distortion)이라고 불립니다.
이에 따라 Kumar 등은 Linear Probing을 수행한 후에 Fine-Tuning을 함으로써, Feature Distortion을 방지하면서도 이미지 특징의 일반화 성능을 유지한 채 ID 데이터용으로 튜닝해 나가는 LP-FT가 유효하다는 것을 이론과 실험 양면에서 보여주었습니다.
이 논문의 실험에서는 많은 ID, OOD 데이터에서 LP-FT가 높은 정확도 (Accuracy)를 달성함을 보여주었습니다.
Kumar 등 [3:3]의 Table 1,2를 일부 수정. ID, OOD 데이터에서의 Linear Probing, Fine-Tuning, LP-FT의 성능 비교
실제로 전이 학습을 할 때 어떻게 할 것인가
위의 내용을 바탕으로 제 의견을 말씀드리자면, 많은 경우 Linear Probing을 베이스라인(baseline)으로 삼아 시도해 보는 것이 좋다고 느낍니다. 최근에는 DINOv3와 같이 대규모의 다양한 데이터로 사전 학습된 일반화 성능이 높은 모델들이 존재하며, 실무에서 다루는 이미지가 사전 학습 분포에서 크게 벗어나는 케이스 자체가 줄어들고 있는 것이 아닌가 생각합니다.
분명히 태스크에 특화된 이미지 입력이 있는 경우나, Kaggle처럼 특정 평가 지표를 최적화해야 하는 상황에서는 Full Fine-Tuning이나 LP-FT와 같은 수법도 검토해 볼 만하다고 생각합니다.
다만 개인적인 감상으로는, LP-FT처럼 학습이 두 단계에 걸쳐 진행되면 모델의 체크포인트(checkpoint)나 메트릭(metric) 등의 학습 관리가 번거로워질 것 같다는 느낌이 들기 때문에, 가급적 Diff-LR, Partial Freeze와 같이 학습이 한 단계로 끝나면서도 Linear Probing과 Full Fine-Tuning의 단점을 보완할 수 있는 수법을 시도하는 것이 좋지 않을까 생각합니다.
여러 번 언급했듯이, 실제로는 데이터셋이나 태스크 (Task)에 따라 최적의 학습 전략이 달라지기 때문에, 다양한 선택지가 있음을 고려하여 시도해 보는 수밖에 없다고 생각합니다.
요약
이 기사에서는 전이 학습 (Transfer Learning)을 할 때 개인적으로 알아두면 좋겠다고 생각하는 학습 전략에 대해 소개하였으며, 가능한 한 직관적으로 이해할 수 있도록 논문을 인용하며 설명을 덧붙였습니다.
본 기사를 작성하게 된 계기는 Kaggle의 초급 컴피티션 (Kaggle Playground Competition)에서 Diff-LR나 LP-FT를 사용한 Public Notebook이 유행하고 있었는데, 그러한 학습 방법을 미처 떠올리지 못했던(채택할 생각을 하지 못했던) 것이 분하여 관련 논문을 찾아보게 된 것이 시작입니다.
직관적으로라도 다양한 선택지를 알고 있으면 모델의 의도를 이해하는 데 도움이 될 것 같아 조금 기쁩니다.
Yosinski, Jason, et al. "How transferable are features in deep neural networks?." Advances in neural information processing systems 27 (2014). ↩︎ ↩︎
S. Kornblith, J. Shlens and Q. V. Le, "Do Better ImageNet Models Transfer Better?," IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. ↩︎ ↩︎ ↩︎
Kumar, Ananya, et al. "Fine-tuning can distort pretrained features and underperform out-of-distribution.", ICLR, 2022. ↩︎ ↩︎ ↩︎ ↩︎
Zeiler, Matthew D., and Rob Fergus. "Visualizing and understanding convolutional networks." European conference on computer vision. Cham: Springer International Publishing, 2014. ↩︎ ↩︎
Li, Chaohua, et al. "Recent advances in out-of-distribution detection with clip-like models: A survey." arXiv preprint arXiv:2505.02448 (2025). ↩︎
Discussion
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기