[상편] AI는 무엇을 기준으로 '좋은 예측'을 할까? 동전 던지기에서 이해하는 최대우도추정 및 로그/미분

AI는 어떤 기준을 가지고 '좋은 예측'을 할까요?

그 답 중 하나는 '실제로 관측된 데이터를 가능한 한 쉽게 발생할 수 있는 것으로 설명한다'는 생각입니다. 이 기준에 따라 모델의 설정을 선택하는 방법을 최대우도추정(Maximum Likelihood Estimation)이라고 합니다.

이름은 어려워 보이지만, 출발점은 동전 던지기입니다. 상편에서는 동전에서 로그와 미분으로 나아가고, 하편에서는 AI의 학습과 그 답을 어디까지 신뢰할 수 있는지에 대해 다룹니다.

제1장 10번 던져서 8번 앞면이 나왔다. 이 동전의 '앞면 나올 가능성'은 어느 정도일까?

눈앞에 앞면과 뒷면 나오는 가능성을 알 수 없는 동전이 있다고 가정해 봅시다. 10번을 던졌더니, 앞면이 8번, 뒷면이 2번 나왔습니다.

'앞면이 8할이나 나왔으니, 앞면 나올 확률도 0.8 정도 아닐까?'

자연스러운 예상입니다. 하지만 공정한 동전이라 하더라도 우연히 8번 앞면이 나올 수는 있습니다. 이 0.8이라는 숫자를 좀 더 논리적으로 선택할 수 없을까요?

그래서, 앞면이 나올 확률을

먼저 '앞면, 앞면, 뒷면...'과 같이 기록한 하나의 순서 배열을 생각해 봅시다. 독립적인 사건이 연속해서 일어날 확률은 곱셈으로 구합니다. 앞면이 8번, 뒷면이 2번인 배열이라면,

이 됩니다. 오른쪽 위의 8이나 2는 같은 숫자를 몇 번 곱하는지를 나타냅니다.

다만, 이번에 알고 싶은 것은 순서를 따지지 않는 '10번 중 8번이 앞면'이 나올 가능성입니다. 뒷면이 나오는 2곳을 고르는 방법은 10곳 중에서 2곳을 선택하므로
입니다. 복잡해 보이는 식도 '하나의 배열 확률 × 배열하는 경우의 수'라는 의미입니다.

이 공식에, 후보가 되는

이렇게 관측한 결과를 고정하고, 설정별로 발생하는 가능성을 비교할 때, 그 값을 '우도(Likelihood)'라고 부릅니다. 기호 $\mathcal{L}$
우도가 가장 커지는 설정을 선택하는 것이 최대우도추정입니다. 앞면의 3가지 후보뿐만 아니라, 0부터 1까지 모든 후보를 비교해도, 이번에는

제2장 '확률'과 '우도'는 무엇이 다를까?

구분의 시작은 확률에서는 출발점이 되는 설정을 고정하고, 우도에서는 관측한 결과를 고정하는 것입니다.

예를 들어, '앞면 나올 확률 0.5의 동전을 10번 던지면 몇 번 앞면이 나올까?'라고 생각할 때, 설정은 0.5로 결정되어 있습니다. 움직이는 것은 앞면의 횟수입니다. 0회, 1회, 2회...와 같이 각각의 결과 확률을 조사합니다.

반면에, '10번 중 8번이 앞면이었다. 앞면 나올 확률은 얼마일까?'라고 생각할 때, 8회라는 결과는 결정되어 있습니다. 움직이는 것은 0.5, 0.6, 0.7...과 같은 설정 후보입니다.

図1：確率は設定を固定して結果を動かし、尤度は結果を固定して設定を動かす

그림 1: 확률은 설정을 고정하고 결과를 움직이며, 우도는 결과를 고정하고 설정을 움직인다

그림 1에서는 왼쪽 가로축이 '결과', 오른쪽 가로축이 '설정'입니다. 같은 확률 계산을 다른 방향에서 보고 있는 것입니다. 참고로, 여기서의 차이는 관찰하는 방향일 뿐이며, '발생하기 전이라면 확률, 발생한 후라면 우도'와 같은 시간적인 구분은 아닙니다.

하나 주의할 점이 있습니다.

또한, 확률에서는 일어날 수 있는 결과를 모두 더하면 1이 됩니다. 하지만 우도를 설정 후보에 대해 더하거나 그래프의 면적을 구하더라도, 1이 될 필요는 없습니다. 우도는 그 자체로는 설정에 대한 확률 분포가 아니기 때문입니다.

그렇다면 키나 기온처럼 연속적인 수치를 다룰 때는 어떨까요?

연속값의 이상적인 모델에서는 '키가 소수점까지 정확히 170cm와 일치하는 확률'은 0이 됩니다. 170cm라는 것이 특별히 있을 수 없기 때문이 아닙니다. 한 점에는 폭이 없고, 확률을 할당할 구간의 넓이가 없기 때문입니다. 실제 '170cm'라는 측정값에는 반올림이나 측정 정밀도에 따른 폭이 있습니다.

여기서 사용하는 것이 확률 밀도(Probability Density)입니다. 이것은 '그 값 근처에 확률이 얼마나 빽빽하게 모여 있는가'를 나타내는 높이입니다.

図2：確率密度の高さと、区間の確率を表す面積

그림 2: 확률밀도의 높이와, 구간의 확률을 나타내는 면적

그림 2의 산에서는 높이가 1을 초과하고 있습니다. 그래도 문제는 없습니다. 확률인 것은 높이 그 자체가 아니라, '0.4부터 0.6까지'와 같은 구간에 있는 곡선 아래의 넓이기 때문입니다. 그림의 색칠된 부분은 약 0.683, 즉 약 68.3%에 해당합니다. 산 전체의 면적은 1입니다.

참고로, 폭이 좁은 구간이라면 '확률 밀도 × 구간의 폭'으로, 그 구간에 들어갈 확률을 대략적으로 구할 수 있습니다. 밀도가 높은 곳일수록, 같은 폭의 구간에 값이 모이기 쉽다고 이해하면 좋습니다.

이 밀도를 사용하여 연속 값에 대한 최대우도추정(MLE)에서는 동전의 확률 대신, 관측된 값에서의 밀도를 곱합니다. 예를 들어, 독립적으로 측정한 기온이 20도와 22도라고 가정해 봅시다.

제3장 로그와 미분을 이용해 우도를 확인하기

동전 던지기 공식으로 돌아가 보겠습니다.

우리가 알고 싶은 것은 그래프가 최대가 되는 가로축의 위치입니다. 이 식은 다항식이므로, 전개하면 고등학교 문과 수학 범위 내에서 직접 미분할 수 있습니다. 로그를 취하지 않으면 풀 수 없는 것도 아닙니다.

하지만 AI에서는 수천, 수만 개의 데이터 밀도를 곱하게 됩니다. 예를 들어,

먼저, 로그는 '무엇을 몇 제곱해야 그 수가 되는가'를 나타냅니다. 예를 들어,

밑이 1보다 큰 로그에는 양수 간의 크기 관계를 유지하는 성질이 있습니다. 작은 수의 로그는 작고, 큰 수의 로그는 큽니다. 따라서 우도를 로그로 변환해도 최대가 되는 위치는 바뀌지 않습니다.

예를 들어, 밑이 10이라면, 0.01, 0.1, 1의 로그는 각각

図3：尤度と対数尤度では、縦軸の尺度が変わっても最大位置は同じ

그림 3: 우도와 로그우도는 세로축의 눈금이 바뀌어도 최대 위치는 동일

더 나아가, 로그를 사용하면 큰 장점이 있습니다.

곱셈이 덧셈으로 변하고, 여러 번 곱하는 횟수는 이전 계수가 됩니다. 수많은 작은 밀도를 곱할 때 컴퓨터가 다루기 어려울 정도로 작은 값이 되는 문제도 피하기 쉽습니다.

여기서는 미분이 쉬워지는 '자연로그(natural logarithm)'를 사용하여,
이 됩니다. 이것이 로그우도(log-likelihood)입니다. 표 8회와 뒷면 2회가 각각 계수 8과 2가 되었습니다.

다음은 미분입니다. 미분이란 그래프의 '그 지점에서의 기울기'를 조사하는 것입니다. 오른쪽 위로 올라가면 플러스, 오른쪽 아래로 내려가면 마이너스, 매끄러운 산봉우리에서는 0이 됩니다.

자연로그에서는,
후자의 원리도 조금 살펴보겠습니다. 이과 수학에서 배우는 '합성함수의 미분'에서는 바깥쪽 함수를 미분하고, 안쪽 함수의 미분을 곱합니다. 여기서는 바깥쪽
입니다.

이 됩니다. 대시(-)는 미분의 기호입니다. 기울기가 0이 되는 곳을 찾으면,
우리가 익숙한 일차방정식에 도달했습니다. 다만, 기울기 0만으로는 산봉우리인지 골짜기는 결정할 수 없습니다. 그래서 하나의 분수로 정리합니다.

논의(Discussion)