Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
신경망의 비선형 분리는 휘어진 선을 직접 그리는 것이 아니라, 복잡한 데이터를 '변형'시켜 곧은 직선으로 나눌 수 있는 새로운 공간으로 이동시키는 원리입니다. 이 공간 변환(왜곡) 능력은 가중치와 편향 계산 자체로는 불가능하며, 활성화 함수(Activation Function)가 비선형 변환을 가능하게 함으로써 구현됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기신경망은 비선형적인 문제(복잡하게 얽힌 데이터)를 해결할 수 있다고 자주 이야기됩니다.
하지만 그 내용을 분석해보면, 사실 한 번도 휘어진 선(비선형 결정 경계)을 직접 그린 적이 없습니다.
실제로 하는 일은 매우 간단합니다. 바로 **'데이터를 억지로 변형시켜서, 곧은 선으로 깔끔하게 나뉠 수 있는 공간으로 옮기는 것'**뿐입니다.
본문에서는 수학 기호는 전혀 사용하지 않고, 신경망이 복잡한 분류를 가능하게 하는 '진짜 원리'를 해설합니다.
신경망이 수행하는 처리는 단 2단계로 이루어집니다.
은닉층의 역할:
얽혀 있어서 직선으로는 나눌 수 없는 데이터를 펼치거나 구부려서 **'자(ruler)로 곧은 선 하나만 그으면 완전히 그룹별로 나눌 수 있는 다른 공간'**으로 이동(변환)시키는 것입니다.
이것만 합니다.
'최종적으로 그린 것은 그저 직선'인데, 그것을 원래 구불구불했던 데이터 공간으로 되돌려 살펴보면, 마치 복잡하게 휘어진 선(비선형 경계)으로 나뉘어 있는 것처럼 보이는 것이 비선형 분리의 정체입니다.
가장 이해하기 쉬운 예시는 **'빨간색과 파란색 잉크가 섞인 종이 한 장'**입니다.
문제 설정:
평평한 책상 위에 종이가 놓여 있습니다. 종이 중앙에는 '빨간 점'들이 모여 있고, 그 주변을 도넛 모양으로 '파란 점'들이 둘러싸고 있습니다.
과제:
자(ruler)를 사용해 '곧은 선 하나만'으로 빨강과 파랑을 나누고 싶습니다. 하지만 2차원 평평한 책상 위에서는 아무리 자를 대도 빨강과 파랑을 직선으로 분리할 수 없습니다 (선형 분리 불가능).
종이 중앙(빨간 점 부분)을 손가락으로 집어 올려 위로 힘껏 들어 올립니다 (3차원 공간으로의 이동).
옆에서 보면, 빨간 점은 위로 튀어나오고 파란 점은 아래에 남게 됩니다.
여기서 수평으로 가위를 스윽 곧게 넣어 종이를 슬라이스합니다 (선형 분리).
잘린 종이를 다시 책상 위에 놓고 평평하게 펼치면, 중앙의 빨간 점만 '동그란 원(비선형 경계선)'으로 깔끔하게 오려져 있습니다.
가위 자체는 그저 수평으로 자른 것뿐인데, 종이를 구부려서 원래대로 되돌린 결과, 마치 동그랗게 휘어진 선으로 잘라낸 것처럼 보이는 것입니다.
여기서 자주 하는 의문이 '층을 몇십 개나 쌓으면, 그것만으로 공간이 저절로 휘어지는 것인가?'라는 점입니다.
결론부터 말하면, '활성화 함수 (Activation Function, 예: ReLU)'가 없다면 공간은 절대로 휘지 않습니다.
신경망의 기본 계산(가중치 곱셈과 편향 덧셈)은 공간에 대해 다음 조작밖에 할 수 없습니다.
이것들은 모두 '공간의 왜곡이 없는 변환(선형 변환, Linear Transformation)'입니다.
평평한 종이를 아무리 회전시키거나 평행 이동시켜도, 종이는 평평한 상태 그대로입니다. 층을 100개 쌓아도 첫 번째 층과 할 수 있는 일은 변함이 없습니다.
여기서 등장하는 것이 각 층의 계산 직후에 끼워 넣는 **활성화 함수 (대표 예: ReLU)**입니다.
ReLU의 규칙은 '음수 값이라면 0으로 만들고, 양수라면 그대로 통과시킨다'라는 극도로 단순한 것입니다.
하지만 이 '마이너스를 깔끔하게 잘라내는' 처리가 들어감으로써, **공간에 주름이 생기고, 종이를 확 접는 듯한 변형(비선형 변환, Nonlinear Transformation)**이 처음으로 가능해집니다.
이 두 가지를 밀푀유처럼 여러 번 반복함으로써, 아무리 복잡하게 얽힌 데이터라도 깔끔하게 풀어서 '곧은 선으로 나눌 수 있는 형태'로 재배열할 수 있게 되는 것입니다.
| 파트 | 하는 일 | 비유 |
|---|---|---|
| 입력 공간 | 정리되기 전의 원데이터 | 빨강과 파랑이 복잡하게 얽혀 섞인 종이 |
| 중간층 (은닉층) | 가중치 + 활성화 함수에 의한 공간 왜곡 | 종이를 접거나 잡아당겨서, 빨강과 파랑의 높이나 위치를 어긋나게 함 |
| 마지막 은닉층의 출구 | '곧은 선으로 나눌 수 있는' 공간 | 빨강이 위, 파랑이 아래로 완전히 분리된 상태 |
| 출력층 | 곧은 경계를 긋기 (선형 분리) | 자나 가위로 직선적으로 싹둑 잘라냄 |
| 원래의 공간에서 본 결과 | 비선형 결정 경계로 관측됨 | 잘린 종이를 평평하게 되돌렸을 때, 복잡한 곡선으로 오려져 있는 것처럼 보임 |
신경망이 수행하는 '비선형 분류'의 진실은 복잡한 곡선을 그리는 것이 아니라, '자신에게 편리하도록 직선으로 잘릴 수 있는 형태로 데이터를 변형시키는' 일종의 힘겨루기(기술)입니다.
이 구조를 이해하고 나면, '왜 은닉층이 필요한지', 그리고 '활성화 함수를 제거하면 딥러닝이 단순한 선형 회귀로 전락하는지'가 직관적으로 납득됩니다.