안녕하세요. 2026년 1월 G검정에 합격한, 문과 출신 엔지니어입니다.

G검정의 빈출 용어이면서도 의외로 설명이 모호해지기 쉬운 것이 바로 **오토인코더 (Autoencoder, 자기부호화기)**입니다. "비지도 학습 (Unsupervised Learning)? 차원 축소 (Dimension Reduction)? 생성 모델 (Generative Model)? 도대체 정체가 뭐야?"라며 혼란스러워하기 쉬운 포인트이지만, 사실 **「압축한 뒤에 복원한다」**라는 단 하나의 움직임만 파악하면, 파생 모델인 VAE나 딥러닝 (Deep Learning)의 역사 문제까지 줄줄이 풀 수 있게 됩니다. 이 기사로 3분 만에 깔끔하게 정리해 봅시다.

주의: 이 기사는 JDLA 인증 공식 콘텐츠가 아닙니다. 필자 개인의 학습 경험에 기반한 비공식 정보 공유입니다. 최신 실라버스(Syllabus)는 JDLA 공식 사이트에서 확인해 주세요.

오토인코더는 **입력과 동일한 것을 출력하도록 학습하는 뉴럴 네트워크 (Neural Network)**입니다. "입력을 그대로 내보내는 것"뿐이라면 간단하겠지만, 핵심은 중간에 일부러 좁은 통로(중간층)를 지나게 하는 것입니다.

전언 게임(말 전달 게임)에 비유해 보겠습니다. 긴 문장을 다음 사람에게 전달할 때, 메모는 한 마디 요약만 쓸 수 있다는 규칙이라고 가정합시다. 요약(압축)을 못 하면 복원된 문장은 원문과 동떨어지게 됩니다. 게임에서 이기려면 원문의 본질만을 남긴 능숙한 요약을 만드는 수밖에 없습니다. 오토인코더는 이 훈련을 반복함으로써 데이터의 본질적인 특징(요약)을 자동으로 획득하는 것입니다.

중요 포인트는 두 가지입니다.

• **비지도 학습 (Unsupervised Learning)**이다 (정답 라벨이 필요 없음. 입력 자체가 '정답'이 되기 때문)
• 중간층은 입력층보다 차원(Dimension)이 작다 (여기서 정보가 압축됨)

「압축」에 주목하면, 오토인코더는 차원 축소 (Dimension Reduction) 기법으로 사용할 수 있습니다. 동일한 차원 축소 기법인 **주성분 분석 (PCA)**과의 대비로 문제가 출제되곤 합니다.

• PCA: 직선적(선형, Linear)인 변환으로 압축한다
• 오토인코더: 뉴럴 네트워크에 의한 비선형 (Non-linear) 변환이 가능하다

"비선형 차원 축소가 가능한 것은 어느 쪽인가?"라고 묻는다면 오토인코더입니다.

역사 문제로 출제되는 경우가 의외로 많은 포인트입니다. 과거에는 깊은 네트워크가 **경사 소실 문제 (Vanishing Gradient Problem)**로 인해 제대로 학습되지 않았습니다. 그래서 제프리 힌튼 (Geoffrey Hinton) 등이 제안한 것이, 오토인코더를 한 층씩 학습시켜 쌓아 올리는 **적층 오토인코더 (Stacked Autoencoder)**를 통한 **사전 학습 (Pre-training)**입니다.

"층마다 탐욕적으로(Greedy) 사전 학습을 한 뒤 전체를 미세 조정 (Fine-tuning)한다"라는 흐름은 딥러닝 부활의 계기로 자주 등장합니다. 참고로, 현재는 ReLU나 배치 정규화 (Batch Normalization) 등의 등장으로 인해 이 사전 학습은 필수가 아니게 되었다는 점도 함께 기억해 두세요.

**VAE (Variational Autoencoder, 변분 오토인코더)**는 오토인코더를 생성 모델 (Generative Model)로 발전시킨 것입니다. 일반적인 오토인코더가 중간층을 "하나의 점"으로 학습하는 것에 반해, VAE는 **확률 분포 (Probability Distribution, 평균과 분산)**로서 학습합니다.

전언 게임으로 말하자면, 요약 메모가 "고정된 한 마디"가 아니라 "대략 이런 내용"이라는 폭을 가진 표현이 되는 이미지입니다. 이 폭(분포)에서 샘플링(Sampling)함으로써, 학습 데이터와 유사한 새로운 데이터를 생성할 수 있게 됩니다.

생성 모델 간의 비교로서, **GAN (두 네트워크를 경쟁시키는 방식)**이나 **확산 모델 (Diffusion Model, 노이즈를 서서히 제거하는 방식)**과의 차이점을 묻는 문제도 단골 메뉴입니다. "VAE = 분포를 학습하여 샘플링"이라고 기억해 두세요.

• "오토인코더는 **지도 학습 (Supervised Learning)**이다" $\rightarrow$ 오답. 정답 라벨은 필요 없음 (비지도 학습)

• "중간층의 차원은 입력층보다 크다" $\rightarrow$ 오답. 압축하므로 기본적으로 작음

• "사전 학습은 현재도 필수이다" $\rightarrow$ 오답. 현재는 다른 기술로 깊은 학습이 가능함

• VAE와 GAN의 설명 뒤바뀜 $\rightarrow$ GAN은 "생성기와 판별기의 경쟁", VAE는 "분포의 학습"

• 오토인코더 (Autoencoder): 입력을 압축 $
  ightarrow$ 복원함으로써 특징을 배우는 비지도 학습 (Unsupervised Learning)

• 적층 오토인코더 (Stacked Autoencoder): 1층씩 사전 학습하여 쌓아 올림. 딥러닝 (Deep Learning) 부활의 일등 공신

• VAE (Variational Autoencoder): 중간층을 확률 분포 (Probability Distribution)로 학습하여, 새로운 데이터를 생성할 수 있음

오토인코더는 「차원 축소 (Dimension Reduction)」「역사」「생성 모델 (Generative Model)」이라는 세 가지 출제 맥락을 아우르는, 한 번에 세 가지 효과를 얻는 빈출 테마입니다. 수식을 쫓지 않아도 「압축 $
ightarrow$ 복원의 전언 게임」 이미지만으로도 선택지를 상당히 좁힐 수 있습니다. 시험 전에 이 기사의 총정리만이라도 다시 한번 훑어봐 주신다면 기쁘겠습니다.

체계적으로 학습을 진행하고 싶은 분들께는 AI 자격증 학습 정보를 정리한 AI 자격증 네비 (ai-kentei.net) 도 추천합니다. 분야별 해설이나 학습 플랜 수립 방법이 정리되어 있어, 저도 학습의 전체상을 파악하는 데 도움이 되었습니다.

끝까지 읽어주셔서 감사합니다. 여러분의 학습에 도움이 되기를 바랍니다!