【G 자격증 대비】 손실 함수와 출력층의 역할 정리 (교차 엔트로피, 소프트맥스, 평균 제곱 오차)

이번에는 '교차 엔트로피', '소프트맥스 함수', '평균 제곱 오차'에 대해 직관적인 이해를 목표로 정리했습니다.

분류 문제에서 '정답과의 차이'를 측정하는 기준

교차 엔트로피(Cross-Entropy)는 주로 분류 문제(예: 이미지가 개인지 고양이인지 맞히기)의 손실 함수로 이용됩니다.

• 역할: AI가 내놓은 '예측 확률'과 실제 '정답 레이블'이 얼마나 떨어져 있는지를 계산합니다.

• 특징: * 예측이 정답에 가까울수록, 값(오차)은 0에 가까워집니다. - 예측이 정답에서 멀리 떨어진 경우(자신만만하게 틀릴수록), 값(오차)은
  지수함수적으로 크게 됩니다.

• 예측이 정답에서 멀리 떨어진 경우(자신만만하게 틀릴수록),

• 수식의 이미지: $E = -\sum t_k \log y_k$ - 정답($t_k=1$)일 때, 예측($y_k$)이 작을수록 페널티가 커지는 구조입니다.

• 왼쪽 (예측이 틀렸을 때):
  AI가 '개'라고 자신만만하게 오인한 결과, 오차(손실)가 빨간색으로 크게 표시되어 있습니다. 정답(고양이)과 예측의 차이가 큰 상태입니다. -

• 오른쪽 (예측이 맞았을 때):
  AI가 '고양이'라고 올바르게 예측한 결과, 오차(손실)가 녹색으로 작게 표시되어 있습니다. 정답과 예측이 거의 일치하는 상태입니다. -

• 중앙:
  교차 엔트로피의 본질인 '자신을 가지고 예측하면 손실은 작고, 자신만만하게 틀리면 손실이 커진다'는 규칙이 적혀 있습니다.

산발적인 수치를 '확률'로 변환하는 마법의 상자

뉴럴 네트워크의 최종 레이어에서 나온 수치를 인간이나 손실 함수가 다루기 쉬운 형태로 정리합니다.

• 역할: 여러 출력 값의 합을 **1.0 (100%)**으로 변환합니다. -

• 용도: 다중 클래스 분류(3개 이상의 선택지 중에서 고르는 문제)의 출력층에서 사용됩니다. -

• 장점: '어떤 클래일 확률이 가장 높은가'를 직관적으로 판단할 수 있게 됩니다. -

• 함께 외우기: '출력층이 소프트맥스 함수라면, 손실 함수는 교차 엔트로피'라는 조합이 정석입니다.

• 왼쪽 (입력):
  원시 출력 값(Logits) AI의 네트워크에서 나온, 산발적이고 합계도 일정하지 않은 점수(예: 고양이 3.0, 개 1.0, 새 0.2)입니다. 이 상태로는 확률로 다룰 수 없습니다. -

• 중앙:
  소프트맥스 함수(마법의 상자) 원시 수치를 지수함수($e^x$)를 이용하여 계산하고, 모든 값의 합이 '1.0 (100%)'이 되도록 변환합니다. -

• 오른쪽 (출력):
  확률 분포로 변환된 깔끔한 확률(예: 고양이 84%, 개 11%, 새 5%)입니다. 이를 통해 'AI는 84%의 확률로 고양이라고 예측하고 있다'고 명확하게 알 수 있습니다. -

• 하단의 포인트:
  소프트맥스 함수의 특징을 3가지(0~1 범위, 합계 100%, 최댓값을 강조하는 '소프트맥스' 메커니즘)로 정리했습니다.

회귀 문제에서 '오차의 합'을 산출하는 기준

'내일 기온'이나 '주가' 등 구체적인 수치를 예측하는(회귀 문제) 경우에 사용되는 손실 함수입니다.

• 원리: (예측값 － 정답값)을 2제곱하여, 그 평균을 취합니다. -

• 왜 2제곱하는가:- 마이너스 오차를 플러스로 만들기 위해(차이를 올바르게 평가하기 위해). - 큰 차이에 대해 더 큰 페널티를 주기 위해서.

• 상단:
  전체 정의와 수식
  MSE는 손실 함수 한 종류이며, 회귀 문제(연속 값 예측)에서 사용되고, '예측값과 정답값의 차이(오차)를 제곱하여 그 평균을 취한다'는 수식의 흐름을 간략하게 보여주고 있습니다. -

• 중앙: 구체적인 예시 (기온 예측)
  3개의 데이터 포인트를 기준으로, 실제 기온과 AI의 예측값, 그 오차, 그리고 오차를 제곱하는 계산 과정을 시각화했습니다. - 오차는 플러스(+4)일 수도 마이너스(-2)일 수도 있지만, 제곱함으로써 모두 플러스(16, 4)로 변환됩니다.

• 이 제곱된 오차들을 합산하고(21), 데이터 수(3)로 나누어 최종적인 MSE(7)가 산출됩니다. 미터기가 그 손실 상태를 보여주고 있습니다.

• 하단: 중요 포인트
  MSE의 큰 특징을 3가지에 정리했습니다. - 회귀 문제(연속 값 예측)에 최적화되어 있다. - 오차를 제곱함으로써, 플러스와 마이너스의 상쇄를 막고 차이를 올바르게 평가한다. - 큰 오차에 대해 더 큰 페널티를 준다(큰 차이일수록 값이 급격하게 커진다).

기계 학습의 학습 과정은 "출력층에서 형태를 다듬고, 손실 함수로 오차(차이)를 측정하며, 그 오차를 최소화하도록 파라미터를 업데이트하는" 흐름으로 진행됩니다.

이번에 소개된 함수들은 일종의 AI가 "반성"하도록 돕는 중요한 구성 요소입니다. 각각의 역할과, 세트로 사용되는 패턴 간의 차이점을 정리하여