1. 서론
이미지의 일부를 가리고, 남아있는 부분으로부터 이를 예측하는 문제입니다. 이 학습 문제는 단순하지만, '무엇을 정답으로 예측하게 할 것인가'에 따라 모델에게 요구되는 이해도가 달라집니다.
예를 들어, 새의 등을 가린 이미지를 생각해 봅시다. 주변 정보로부터 새의 자세나 몸통의 연결성은 추측할 수 있더라도, 깃털 무늬나 빛의 반사까지 유일하게 결정할 수는 없습니다. 이미지 인식에 도움이 되는 표현을 얻고 싶을 때, 이 모든 화소를 맞추도록 요구하는 것이 과연 필요할까요?
I-JEPA (Image-based Joint-Embedding Predictive Architecture)는 보이는 영역으로부터 가려진 영역의 '화소'가 아닌 '표현(representation)'을 예측하는 자기 지도 학습 방법입니다. 정답이 되는 표현은 학습 중 다른 encoder가 생성합니다.
다만, 예측 대상을 벡터로 바꾼다고 해서 의미를 이해하는 모델이 되는 것은 아닙니다. 정답과 예측 모두 같은 상수 벡터가 되어버리면, 이미지의 내용을 구별할 수 없어도 오차는 0이 됩니다.
본 기사에서는 I-JEPA가 어떤 예측 과제를 통해 이미지 인식에 도움이 되는 표현을 학습하는지를 해설합니다. 예측 대상이나 마스크 처리 방식, 교사 업데이트 방법 등을 다루며, 그 설계의 이유와 효과를 원 논문의 실험을 통해 살펴보겠습니다.
2. 자기 지도 학습에서 예측 대상 선택
2.1 의미 있는 표현과 평가의 관계
이미지의 표현이란 encoder가 이미지로부터 계산하는 특징 벡터입니다. 자기 지도 학습에서는 사람이 부여한 카테고리 레이블 대신, 이미지 자체를 통해 만든 과제를 통해 encoder를 학습합니다.
여기서 '의미 있는 표현'을 단순히 이미지를 압축한 표현과 동일시할 수는 없습니다. 압축했더라도 촬영 당시의 색감만 보존하고 물체의 종류를 구별하지 못한다면, 객체 인식에는 사용하기 어렵습니다.
I-JEPA 논문이 중시하는 것은 하류(downstream) 태스크에 맞춰 학습된 encoder의 파라미터를 크게 업데이트하지 않아도, 인식이 필요한 정보를 추출할 수 있다는 점입니다. 이를 확인하는 평가 방법 중 하나가 linear probing입니다. encoder의 가중치는 고정하고, 그 출력 위에 선형 분류기만을 학습합니다. 이에 반해 fine-tuning에서는 레이블을 사용하여 encoder 자체를 업데이트합니다.
따라서, 선형 평가가 높다는 것은 카테고리를 구분하는 정보가 선형적으로 읽어내기 쉽다는 근거가 됩니다. 하지만 이것만으로는 모든 물체 관계나 인과 구조까지 이해했다고 할 수는 없습니다. 본 기사에서도 '의미'는 우선 이러한 평가를 통해 확인할 수 있는 범위에 둡니다.
2.2 불변성 · 화소 재구성 · 표현 예측의 차이
자기 지도 학습의 설계를 비교하기에는 무엇과 무엇을 일치시키는지를 살펴보는 것이 이해하기 쉽습니다.
Joint-Embedding、生成型、Joint-Embedding Predictiveの三つの構成と、誤差を計算する位置
*그림 1: 자기 지도 학습의 세 가지 구성. 빨간색 테두리 *
그림 1의 왼쪽은 두 개의 입력을 각각 표현으로 변환하여, 대응하는 표현을 가깝게 만드는 Joint-Embedding Architecture입니다. 이미지에서는 같은 이미지에 다른 크롭(crop)이나 색상 변환을 적용하여 여러 view를 만들고, 그 사이의 일치를 학습하는 방법이 대표적입니다. DINO[1] 등이 이 계통에 속합니다.
이러한 학습에서는 선택된 데이터 증강(data augmentation)에 대해 표현은 불변이어야 한다는 가정을 모델에 부과하고 있습니다. 어떤 변환에 불변해야 하는지는 데이터 증강의 설계에 따라 결정됩니다. 이미지 분류에서는 유효할 수 있지만, 크롭으로 인해 포함되는 물체 수가 달라진 두 view를 같은 표현으로 가깝게 만드는 것이 객체 탐지에도 적합하다고는 할 수 없습니다.
중앙은 입력 신호 자체를 재구성하는 구성입니다. 예를 들어 Masked Autoencoders (MAE) [2]는 이미지의 패치를 숨기고, 가시적 패치의 표현으로부터 숨겨진 화소를 재구성합니다. 하지만 화소를 정확하게 재구성하기 위한 특징이 그대로 물체 식별에 도움이 된다고는 한계가 있습니다. 재구성 과정에서는 세밀한 무늬나 배경 차이도 오차에 포함되기 때문에, 이를 복원하는 능력을 높이는 것이 물체를 식별하기 쉬운 표현의 학습으로 이어지는지 확인할 필요가 있습니다.
오른쪽이 Joint-Embedding Predictive Architecture (JEPA)입니다. 이 역시 한쪽 입력으로부터 다른 쪽을 예측하지만, 오차를 계산하는 장소는 표현 공간입니다. I-JEPA에서는 추가 정보
왼쪽 구성에서는 두 view를 encoder에 통과시킨 출력들끼리 가깝게 만듭니다. 오른쪽 구성에서는 한쪽 출력을 predictor로 변환한 다음, 다른 쪽 출력과 비교합니다. I-JEPA에서는 보이는 영역의 표현과 위치 정보를 단서 삼아, predictor가 숨겨진 영역의 표현을 예측합니다.
예를 들어, 새의 몸통은 보이는데 머리가 가려져 있는 경우, 몸통 표현으로부터 가려진 위치에 있을 머리의 표현을 예측한다. 이때, 몸통과 머리의 표현을 동일하게 만들 필요는 없다. 영역별 차이를 유지하면서 그 관계를 예측하는 학습이기 때문에, 국소적인 형태나 배치 정보를 표현 속에 남길 수 있는 가능성이 있다.
2.3 I-JEPA의 관점과 귀납적 편향(Inductive Bias)
data2vec[3] 역시 화소(pixel)가 아닌 표현(representation)을 예측하는 방식이다. 입력 전체를 처리한 교사 인코더(teacher encoder)의 표현을 정답으로 삼고, 입력의 일부를 가린 쪽에서 예측한다.
I-JEPA는 이 표현 공간에서의 예측에 **충분히 넓은 범위(spread)를 가진 여러 개의 타겟(target)과 공간적으로 분포된 컨텍스트(context)**를 결합한다. 여기서 target은 예측할 영역을, context는 예측의 단서로 제시하는 영역을 의미한다. 마스크 설계에 따라 무엇을 단서 삼아 무엇을 예측하게 할지 조정한다.
또한, 여러 view 간의 표현을 일치시키는 방식과 비교했을 때, 사람이 정한 데이터 증강(data augmentation) 조합에 대한 의존도가 낮다. 색상 변환이나 블러링 등에서 '어떤 변환에 불변이어야 하는가'를 사전에 가정하는 부분이 줄어들었다. 공식 구현에서는 입력 이미지 전처리로 random resized crop과 화소값 정규화(pixel normalization)를 사용한다.[4]
I-JEPA 역시 패치 분할, 위치 임베딩(positional embedding), 마스크의 형태나 크기 등 귀납적 편향은 존재한다. 다만 그 설계에서는 어떤 변환을 동일시할 것인지에 대한 가정을 줄이고, 어떤 영역을 단서로 삼아 무엇을 예측하게 할지라는 과제 설계 자체에 중점을 두고 있다.
3. I-JEPA의 학습 문제와 업데이트 방법
3.1 전체 이미지에서 생성하는 타겟과 부분적인 컨텍스트
I-JEPA는 context encoder, target encoder, predictor 세 가지로 구성된다. 이들 모두 Vision Transformer (ViT)[5]를 사용한다. ViT는 이미지를 작은 패치(patch)로 분할하고, 패치 간의 Self-Attention을 통해 각 위치의 표현에 주변 정보를 흡수하는 모델이다.
可視領域を処理するcontext encoder、位置ごとに予測するpredictor、全画像を処理するtarget encoder
그림 2: I-JEPA의 학습 구성. 상단은 가시적 패치로부터의 예측을, 하단은 전체 이미지로부터의 정답 생성을 나타낸다. 같은 색 영역에 대응하는 패치 표현을 비교한다. 출처: Assran et al. (2023) Figure 3
전처리된 이미지를
로 만든다.
예측할 영역을
에서 순서가 중요하다. target 측에서는 먼저 전체 이미지를 encoder에 통과시킨 후, 대상 위치의 출력을 선택한다. 단순히 영역을 이미지에서 잘라내어 그것만 encoder에 전달하는 처리가 아니다. 따라서
context 측에서는 전처리된 이미지
이다. 즉, 어떤 target에 포함되는 패치도 context에서 제외된다. target끼리는 겹쳐도 상관없지만, 예측에 사용되는 가시적 패치와 target은 겹치지 않는다.
context encoder는 표준적인 마스크 설정을 정리하면 다음과 같다.[6]
| 항목 | 설정 |
|---|
| target 개수 | 4개 |
| 각 target의 면적 비율 | 이미지의 15~20% |
| target의 가로세로비 | 0.75~1.5 |
| 제거 전 context 영역 | 면적 비율 85~100%, 정사각형 |
| 최종적인 context | [공란] |
85100%는 제거 전 영역의 면적 비율이다. 최종적으로 이미지 전체를 보여준다는 의미는 아니다. 또한, 4개의 target에는 중첩이 있기 때문에, 1520%를 단순히 4배하여 가시율을 계산할 수도 없다.
原画像、大きな領域からtargetを除いたcontext、四つのtargetのマスク例
그림 3: 마스크의 구체적인 예시. 왼쪽부터 원본 이미지, context, 4개의 target이다. 어두운 부분은 해당 열에서 사용하지 않는 영역을 나타낸다. 출처: Assran et al. (2023) Figure 4
그림 3의 context 열에서는 보이는 영역이 하나의 작은 직사각형에 집중되어 있지 않고, 이미지 내에 분포하고 있다. I-JEPA의 '하나의 context block'은 큰 직사각형에서 여러 target을 제외한 것이며, 최종 형태까지 하나의 구멍 없는 직사각형일 필요는 없다.
3.2 위치를 조건으로 하는 패치 표현의 예측
context encoder의 출력을 predictor 역시 ViT로 사용하며, context의 패치 표현과 예측 위치를 지정하는 mask token을 하나의 토큰 시퀀스로 처리한다.
먼저, 예측 위치를 지정하는 토큰을 준비한다.
으로 한다. 프레임 내 패치 1개당 토큰 1개를 준비하고, 각각의 예측 위치를 지정한다. 가려진 화소 내용은 이 토큰에는 포함되지 않는다.
입력 시에는,
트랜스포머(Transformer)를 통과한 후에는 마스크 토큰에 대응하는 출력만 추출하며, 이는 교사(teacher)와 동일한 특징 차원
을 갖게 된다. 출력의 각 벡터 [7]는 위치 토큰에 의한 조건화이다. 같은 그림 2의 predictor 좌우에 있는 □는 다음과 같이 대응한다.
| 그림 2 위치 | 대응하는 토큰・표현 |
|---|
| predictor 왼쪽의 흰색(회색) □ | context encoder가 가시 패치에서 계산한 표현 |
| ... | |
| 右の色付き□は予測結果であり、図2下段のtarget encoderが作る正解表現と比較する。青・赤・黄は、それぞれ異なる予測領域を表す。同じcontext表現を使い、各targetの位置トークンを与えてpredictorを適用する。原論文の手順では、 | |
${}^{++}$ 학습 시에는 예측과 정답을 같은 패치 위치에 배치한다. 다음 절에서는 이들의 오차를 합산하여 하나의 손실 함수로 만든다. 집계되는 것은 이미 계산된 오차이며, 예측 표현이나 교사 표현을 블록 내에서 평균하는 것이 아니다.
predictor의 내부 특징 차원은 표준으로 384이며, encoder보다 폭을 좁게 설계했다. 예를 들어 ViT-H encoder에 대해서는 12층의 predictor를 사용한다. 위치 간 관계를 Self-Attention으로 처리하면서도, encoder와 같은 폭의 네트워크를 각 target에 대해 구동하는 비용을 피하도록 설계된 것이다.[6:1]
3.3 표현의 회귀(Representation Regression)와 EMA를 이용한 target encoder 업데이트
원 논문의 목적 함수는 predictor가 예측한 패치 표현과, target encoder가 만든 정답 표현 간의 제곱 오차이다. 하나의 이미지와 그 마스크에 대해 다음과 같이 나타낼 수 있다.
[8]
여기에는 별도의 이미지를 음성(negative example)으로 멀어지게 하는 대비 손실(contrastive loss)도, 픽셀을 재구성하는 손실도 없다. target encoder가 만드는 정답 표현에 대한 예측 오차가 context encoder와 predictor를 학습시키는 신호가 된다.
한편, 그림 2 하단의 target encoder의 파라미터는 업데이트 횟수를 [6:2]로 설정한다.
이러한 업데이트를 통해 context encoder의 가중치 변화를 target encoder가 느리게 따라간다. target encoder는 그 이동 평균(moving average) 가중치를 사용하여 정답 표현을 만든다.
사전 학습 후 평가에는 원 논문에서 target encoder를 사용한다. 사전 학습 시 [CLS] 토큰은 사용하지 않고, 패치 출력의 평균 풀링(average pooling)으로 이미지 표현을 만든다. predictor는 사전 학습의 예측 과제를 담당하는 것이며, 이미지 분류의 출력기로 사용하는 것은 아니다.[10]
4. 의미 있는 예측을 지탱하는 조건
4.1 물체의 형태나 배치를 포착하기 위한 귀납적 편향(Inductive Bias)
I-JEPA의 예측 과제는 물체의 형태나 부위의 배치를 단서로 삼아, 가려진 영역의 내용을 파악하는 방향으로 학습을 유도한다고 해석할 수 있다. 이 귀납적 편향은 표현을 예측하는 것 외에도, 비교적 큰 영역을 가리고 그 위치를 지정하여 패치별 표현을 예측하게 하는 조합으로부터 발생한다.
가려진 영역을 예측할 때에는, 보이는 물체의 어느 부분이 어디로 이어질지, 지정된 위치에는 어떤 부위가 있을 것인지와 같은 관계가 단서가 된다. 게다가 정답(ground truth)으로는 target encoder가 모든 이미지를 보고 만든 표현을 사용한다. context 측에는 전체적인 문맥을 고려하여 해당 위치의 표현을 예측하는 것이 요구된다.
이때, 세밀한 무늬나 색상까지 픽셀로 복원하는 것을 목표에 포함하지 않는다. 오차를 측정하는 것은 target encoder의 표현이기 때문에, 거기에 남지 않는 픽셀 차이까지 맞출 필요는 없다. 물체의 구조를 포착하는 정보를 예측하면서도, 픽셀의 세부 사항을 재현해야 하는 부담을 줄이는 것이 표현 공간을 예측 대상으로 삼는 목적이다. 입력의 세부 사항을 보지 못한다는 제약은 없으며, 예측에 도움이 되는 세부 사항은 활용 가능하다.
이러한 해석은 원 논문의 예측 표현 시각화와도 일치한다. 별도로 학습된 생성 모델로 예측 표현을 이미지화하면, 물체의 부위나 자세에 대응하는 구조가 나타나고, 세밀한 무늬나 배경은 샘플 간에 변동한다(제5.2절의 그림 4).[11]
예측 대상을 표현으로 삼는 효과는 원 논문의 표 7에서 조사되었다. 예측 대상을 target encoder의 표현으로 할 경우와 픽셀로 할 경우를 비교한 실험이다. encoder는 ViT-L/16을 사용했으며, 사전 학습 후 가중치를 고정하고 ImageNet의 1% 레이블로 선형 분류기(linear classifier)를 학습시켰다.[12]
이 비교에서는 표현을 예측하는 설정이 분류 정보를 선형으로 읽어내기 더 쉽다는 것을 알 수 있다. 다만, 사전 학습 epoch 수는 동일하지 않으며, 이 표만으로는 모양이나 배치에 대한 정보를 직접 검증할 수 없다. 모양과 배치를 포착하는 귀납적 편향(inductive bias)이라는 관점은 예측 과제의 설계와 시각화된 관찰을 결합한 해석이다.
다음 절에서는 이러한 예측 과제를 만들기 위해 무엇을 가리고 어떤 단서를 남기는지, 즉 마스크 설계가 가지는 효과를 살펴본다.
4.2 마스크의 크기와 문맥적 범위
교사 표현(teacher representation)을 예측하더라도, 단서와 정답의 조합이 좋지 않으면 인식에 도움이 되는 과제가 되지 못한다.
결손된 부분이 작다면 근접한 패턴의 연속성만으로 채워질 수 있는 경우가 있다. 반면, 너무 크게 가리면 보이는 영역에서 정답을 추론할 단서가 사라진다. I-JEPA는 비교적 큰 타겟(target)을 여러 개 예측하는 동시에 이미지 내 넓은 범위에 문맥(context)을 남김으로써 이 양쪽 사이의 균형을 맞춘다.
이는 마스크 설계 의도이며, 타겟을 선택할 때 객체 탐지기(object detector)나 객체 레이블을 사용하는 것은 아니다. 무작위로 선택된 큰 영역이 반드시 하나의 객체에 대응하는 것도 아니다.
원 논문의 Table 6은 표현 예측을 공통으로 사용하여 마스크 전략들을 비교하고 있다. 아래는 ViT-B/16을 300 epochs 동안 사전 학습시키고, 인코더를 고정한 후 ImageNet의 1% 레이블로 선형 분류기(linear classifier)를 학습시킨 결과이다.[12:1]
| 마스크 전략 | 예측 과제 | 평균 가시율 | Top-1 정확도(%) |
|---|
| multi-block | 넓은 문맥에서 여러 직사각형 영역을 예측 | 25% | 54.2 |
| ... | | | |
| multi-block과 rasterized는 평균 가시율이 같더라도 크게 다르다. 게다가, 가시율이 40%인 두 방식보다 25%의 multi-block이 더 높다. 따라서 “보이는 패치(patch)를 많이 확보하면 좋다”라는 설명만으로는 충분하지 않다. | | | |
하지만 이 비교에서는 타겟의 개수, 모양, 배치, 면적 등이 동시에 변한다. 모든 차이를 문맥의 공간적인 범위 확대라는 단일 요인으로 돌릴 수도 없다.
그래서 부록 C의 추가 실험을 본다. 동일한 ViT-B/16・300 epochs・1% 선형 평가 조건에서, 타겟을 4개로 고정했을 때, 면적 비율 범위를 7.520%에서 1520%로 변경하자 19.2%에서 54.2%로 개선된다. 한편, 더 크게 20~25%로 늘리면 38.9%로 하락한다. 충분히 큰 타겟은 중요하지만, 크다고 무조건 좋은 것은 아니다. 타겟을 넓히면 문맥에서 제외되는 영역도 변하기 때문에, 필요한 것은 예측의 어려움과 단서 확보의 균형이다.[13]
문맥의 활용 방식은 교사 측에서도 나타난다. 모든 이미지를 교사에 통과시킨 후 출력을 선택하는 경우와 각 타겟 영역만 입력하는 경우를 비교했을 때, ViT-H/16・300 epochs・1% 선형 평가에서 전자가 67.3%, 후자가 56.1%였다 (원 논문 Table 11).[13:1]
이는 제3.1절의 처리 순서를 뒷받침하는 실험이다. I-JEPA가 예측하는 것은 단순히 그 장소만 압축한 벡터가 아니라, 전체 이미지 속에서 그 장소를 보았을 때의 표현이다. 예측하는 쪽에는 부분적인 관측만을 제공하고, 정답을 만드는 쪽에는 전체를 보여준다. 이러한 정보의 비대칭성 또한 예측 과제의 일부가 된다.
MSN과의 공통점 및 예측 대상의 차이
Masked Siamese Networks (MSN)[14] 역시 일부 패치를 가린 뷰(view)에서 마스크하지 않은 뷰의 표현을 학습하는 방법이다. 픽셀을 재구성하지 않고 보이는 패치만 처리하거나, 정답 측 인코더를 EMA로 업데이트하는 것 등은 I-JEPA와 공통점을 가진다.
MSN에서는 각 뷰로부터 이미지 단위의 표현을 만들고, 학습 가능한 프로토타입(prototype, 대표 벡터)으로 할당되는 분포가 일치하도록 학습한다. 크롭(crop)이나 색상 변환, 패치 결손 등으로 보이는 방식이 달라져도 같은 이미지에서 유래한 뷰에는 동일한 할당을 주려고 한다. 결손에 대해 이미지 단위의 의미 표현을 통일하는 설계이다.
I-JEPA에서는 컨텍스트(context)와 위치 토큰(position token)으로부터 지정된 영역 내 각 패치(patch)의 표현을 예측한다. 동일한 컨텍스트라도 위치를 바꾸면 다른 영역이 예측 대상이 된다. 컨텍스트 자체의 표현을 타겟(target)의 표현과 일치시킬 것을 요구하지 않으며, 예측기(predictor)에게 위치에 따른 대응 관계를 학습시킨다.[6:3]
MSN은 결손에 대한 이미지 단위의 불변성을 배우고, I-JEPA는 위치에 따른 영역 간 예측을 배운다는 차이가 있다. 부분적인 관측으로부터 표현을 학습한다는 발상(idea)을 공유하고 있지만, 무엇을 일치시키는지(what to match)가 다르다. 이 차이는 제4.1절에서 언급된 국소적인 형태나 배열을 포착하는 귀납 편향(inductive bias)과 관련하여 해석될 수 있다.
4.3 표현 붕괴 회피와 예측기의 준최적성
모든 이미지에 대해 예측도, 정답도 같은 상수 벡터가 된다면 손실은 0이 된다. 손실 공식만 보면 이러한 표현 붕괴(representation collapse) 역시 '정답'처럼 보인다. 그러나 I-JEPA의 한 번의 업데이트에서는 그림 2 하단부의 타겟 인코더(target encoder)가 만드는 정답을 고정한 채, 상단부의 컨텍스트 인코더와 예측기를 학습한다. 타겟 인코더의 가중치(weight)를 움직이는 것은 그 이후의 EMA이다.
이 업데이트 과정을 이해하는 핵심 열쇠는 BYOL[15]에서 논의된 **예측기의 준최적성(near-optimality)**이다. 준최적성이란, 현재 컨텍스트 표현을 사용하여 할 수 있는 예측을 예측기가 거의 수행하고 있는 상태를 의미한다. 이 관점을 I-JEPA에 적용하여 생각해보자.
예측기가 충분히 학습되었더라도, 컨텍스트 인코더가 정답의 예측에 필요한 정보를 버려버린다면, 그것을 예측기만으로 보충할 수는 없다. 타겟 인코더가 만드는 정답은 고정되어 있기 때문에, 컨텍스트 측이 정보를 줄이는 것만으로는 예측 오차가 작아지지 않는다. 따라서, 추가적으로 오차를 줄이기 위해서는 컨텍스트 인코더가 예측에 필요한 정보를 남기는 방향으로 학습하는 것이 요구된다.
그 후, 컨텍스트 인코더가 배운 가중치를 EMA를 통해 타겟 인코더에게 조금씩 계승한다. 정답 측이 한 번에 크게 변하면, 예측기는 변화를 따라가지 못하고 충분히 학습된 상태를 유지하기 어렵다. EMA는 정답을 느리게 변화시켜 예측기가 그 예측을 따라잡기 쉽게 하는 역할을 한다고 생각된다. BYOL 원 논문은 이 해석을 제시했으며, I-JEPA 원 논문 역시 EMA에 의한 업데이트가 중요했다고 보고하고 있다.[15:1][8:1]
이처럼 학습을 동적계(dynamic system)로 간주하고, 예측기의 준최적성을 가정하면 표현 붕괴가 회피되는 이유를 설명할 수 있다.
조건부 분산과 정보 유지의 도출
여기서는 제3.3절에서 원 논문에 기재된 제곱 오차(squared error)를 사용한다. 하나의 타겟 위치에서의 오차에 주목하지만, 블록 내 각 패치의 오차에도 동일한 분해를 적용할 수 있다. 타겟 인코더의 파라미터
교사 표현을
그 위치에 대한 예측기의 출력을
이라고 둔다. 계산을 간결하게 하기 위해,
이 된다. 마지막 등호에는,
이다. 우변 제1항은 예측기 선택에 의존하지 않는다. 충분한 표현 능력을 가진 이상적인 예측기라면, 제2항을 0으로 만들 수 있고,
이 된다. 이 최적 예측에서도 남는 오차를
이라고 한다. 또한,
이 최적 예측기로부터의 초과 오차(excess error)이다. 준최적성은 이 초과 오차가 작은 상태로 간주될 수 있다.
다음으로, 컨텍스트의 정보를 버린 경우를 비교한다. 위치 지정은 유지한 채 정보가 있는 입력
이 된다. 이 교차항을 사용하여 오차를 분해하면,
을 얻는다. 입력으로부터 정보를 제거하는 것만으로는, 최적 예측기로도 남는 오차를 줄일 수 없다. 버려진 정보에 의해 교사의 조건부 평균(conditional mean)이 변할 경우, 우변 제2항은 양수가 된다. 이것이 예측에 사용되던 정보를 잃는 방향으로 저항이 생긴다는 설명의 근거이다. 예측과 관계없는 정보를 버린 경우에는, 제2항이 0인 상태여도 무방하다.
이 최적값(optimal value)에 대한 논의를 컨텍스트 인코더의 업데이트 방향으로 연결하기 위해서는 추가적인 가정이 필요하다. 조건부 평균을 실현하는 최적 예측기의 파라미터를,
이라고 한다.
이 등식은 예측기가 엄밀하게 최적인 경우의 것이다. 준최적인 예측기로 같은 업데이트 방향을 근사(approximate)하여 읽으려면, 근사 오차가 기울기(gradient)를 크게 변화시키지 않아야 한다. 작은 예측 오차만으로는, 업데이트 방향의 근접성이나 학습 전체의 안정성까지 보장되는 것은 아니다.
또한, 붕괴된 고정점이 존재한다는 것과 그 고정점이 주변 상태를 끌어당긴다는 것은 별개이다. 두 encoder가 이미 같은 상수 표현이 된 상태는 고정점으로 남아 있을 수 있다. BYOL 원 논문 역시 최적 predictor 하에서 이러한 평형점이 불안정해질 수 있다는 견해를 가설로 제시하고 있다. 여기서는 그 정보 보존에 대한 논의를 I-JEPA에 적용한 해석을 서술하고 있으며, ViT나 EMA를 포함한 학습 전체의 안정성을 증명한 것은 아니다.
BYOL에서의 도출 및 업데이트 동역학에 대해서는 BYOL 해설 기사에서도 설명하고 있다.
5. 실험 결과와 평가의 한계
5.1 선형 평가가 보여주는 분류 표현의 읽기 용이성
I-JEPA는 ImageNet-1K의 선형 평가에서 MAE를 능가하며, encoder를 추가 학습하지 않아도 분류 정보를 추출하기 쉬운 표현을 획득했다. 이 점은 학습된 encoder의 가중치를 고정하고 그 출력 위에 선형 분류기만을 학습하는 평가를 통해 확인할 수 있다.
다음 표는 원 논문의 Table 1에서 필요한 행을 발췌한 것이다. 사전 학습에는 ImageNet-1K 이미지를 레이블 없이 사용하고, 선형 분류기 학습에는 모든 학습 레이블을 사용한다. epoch 수는 사전 학습 횟수이다.[16]
| 기법 | encoder | 사전 학습 epochs | Top-1 정확도（%） |
|---|
| MAE | ViT-H/14 | 1600 | 77.2 |
| ... | iBOT[17] | | |
| ViT-L/16 | 250 | 81.0 | |
| I-JEPA | ViT-H/16（448 해상도） | 300 | 81.1 |
ViT의 B・L・H는 각각 Base・Large・Huge를 나타내며, /14나 /16은 패치 한 변의 화소 수를 나타낸다. 본 논문의 I-JEPA는 원칙적으로 224 × 224에서 사전 학습했으며, 표의 마지막 행은 448 × 448을 사용한다.
핵심은 동일한 ViT-H/14를 사용한 MAE와의 비교이다. MAE는 1600 epochs의 사전 학습으로 77.2%였고, I-JEPA는 300 epochs로 79.3%였다. encoder를 업데이트하지 않는 조건에서, I-JEPA는 적은 사전 학습 epoch으로 2.1 포인트 높은 정확도를 얻었다. 이는 I-JEPA가 사전 학습 단계에서 분류에 필요한 차이를 선형적으로 추출하기 쉬운 표현을 만들고 있음을 뒷받침한다.
data2vec과의 ViT-L/16 비교에서는 정확도가 77.3%와 77.5%로 가깝지만, 사전 학습은 각각 1600 epochs와 600 epochs이다. 여기에서도 I-JEPA는 적은 사전 학습 epoch으로 비슷한 수준의 선형 평가 정확도를 얻고 있다.
더욱이, 고해상도 I-JEPA는 81.1%에 도달하여 다중 view 간의 불변성을 학습하는 iBOT의 81.0%와 견줄 만하다. 이는 모델 크기와 해상도가 다른 비교이지만, I-JEPA 역시 이 수준의 선형 분류 성능에 도달할 수 있음을 보여준다.
레이블 수와 fine-tuning에 따른 평가 조건의 차이
레이블을 1%로 줄인 비교에서는 ViT-H/14의 I-JEPA가 73.3%, MAE가 71.5%였다. 이는 원 논문의 Table 2 평가이며, 각 기법에 대해 fine-tuning 또는 linear probing 중 더 좋은 것을 채택했다. I-JEPA는 50 epochs의 fine-tuning을 수행한다. 제4장에서 사용된 "1% 레이블의 선형 평가"와는 encoder를 업데이트하는지 여부가 다르다.[16:1]
모든 레이블로 fine-tuning을 하면, 448 × 448에서 I-JEPA의 ViT-H/16이 87.1%, MAE의 ViT-H/14가 87.8%이다. 사전 학습은 각각 300, 1600 epochs이며, 패치 크기도 다르다. 선형 평가에서의 우열이 그대로 유지되는 것은 아니다.[18]
선형 평가는 사전 학습으로 얻은 표현에서 분류 정보를 추출하기 쉬운지를 조사한다. fine-tuning은 레이블을 통해 encoder까지 조정된 후의 성능을 조사한다. 이 둘을 분리함으로써, 사전 학습된 표현에서 선형적으로 읽어낼 수 있는 정보와 지도 학습(supervised) 추가 학습 후의 분류 성능을 구별할 수 있다.
encoder를 고정한 상태에서 높은 분류 성능을 얻을 수 있다는 점이 I-JEPA 표현의 유용성을 뒷받침하고 있다. 다음 절에서는 분류 정보 외에도 물체 수나 거리 등의 정보도 읽어낼 수 있는지 살펴본다.
5.2 분류 정보와 이미지 내 구조 관련 정보의 양립
I-JEPA는 분류 정보를 읽어내기 쉬운 표현을 얻는 동시에, 객체 수나 거리와 같은 정보도 유지하고 있다. 이러한 특징은 encoder를 고정하여 평가하고, predictor의 예측 표현을 시각화함으로써 확인할 수 있다.
원 논문의 Table 4에서는 encoder를 고정하고, CLEVR의 객체 수 및 거리에 관한 과제를 선형적으로 읽어내고 있다. CLEVR/Count는 객체 수 분류이며, CLEVR/Dist는 가장 가까운 객체까지의 거리를 구간으로 나누는 분류이다. 아래는 정확도(%)의 발췌본이다.[19][20]
| 방법 | encoder | CLEVR/Count | CLEVR/Dist |
|---|
| MAE | ViT-H/14 | 90.5 | 72.4 |
| I-JEPA | ViT-H/14 | 86.7 | 72.4 |
| DINO | ViT-B/8 | 86.6 | 53.4 |
| iBOT | ViT-L/16 | 85.7 | 62.8 |
