저는 오랫동안 엔지니어(프로그래머)로 일해 왔지만,
약 10년 전부터 확률과 기계 학습을 공부하고 있습니다.
그 과정에서 이해하지 못했던 것들 중, AI를 이용해 비로소 이해하게 된 내용을 회고록 형식으로 정리해 가고자 합니다.
이번에는 10년간 이해하기 어려웠던 상한 극한에 대해 다루겠습니다.
덧붙여 말씀드리자면, 지금까지 이해하지 못했던 것들을 AI에게 질문함으로써 이해할 수 있게 된 경우가 많아졌습니다. 가정교사나 상사와는 달리, 마음껏 철저하게 질문할 수 있다는 점은 학습에 큰 도움이 된다고 실감하고 있습니다.
앞으로의 학습은 본질적으로 변화해 갈 것입니다.
$$\limsup_{n\to\infty} A_n = \bigcap_{n=1}^{\infty} \bigcup_{k=n}^{\infty} A_k$$
제가 처음에 어려움을 겪었던 것이 바로 위의 식입니다.
좌변과 우변의 의미는 개별적으로 이해했지만, 왜 등호(=)로 연결되는지 알 수 없었습니다.
우변과 좌변 각각의 의미와 왜 등호로 연결되는지를 설명하겠습니다.
$$\bigcap_{n=1}^{\infty} \bigcup_{k=n}^{\infty} A_k$$
내부 합집합 $\bigcup_{k=n}^{\infty} A_k$
먼저 $n$을 하나 고정하고,
$$B_n = \bigcup_{k=n}^{\infty} A_k = A_n \cup A_{n+1} \cup A_{n+2} \cup \cdots$$
이라고 둡니다. $\omega \in B_n$ 이라는 것은, $\omega \in A_k$ 가 되는 $k \ge n$ 이 적어도 하나 있다는 것입니다. 즉 $B_n$은 'n번째 이후에 $A_k$가 적어도 한 번 일어나는' 사건입니다.
$B_n$은 $n$이 커질수록 작아집니다.
$$B_1 \supset B_2 \supset B_3 \supset \cdots$$
$B_{n+1}$는 $B_n$에서 $A_n$을 합집합의 대상에서 제외했기 때문에 조건이 더 까다로워지기 때문입니다.
외부 교집합 $\bigcap_{n=1}^{\infty} B_n$
다음으로, 모든 $n$에 대해 교집합을 취합니다.
$$\omega \in \bigcap_{n=1}^{\infty} B_n \iff \text{모든 } n \text{에 대해 } \omega \in B_n$$
말로 풀어 설명하면 다음과 같습니다.
아무리 큰 $n$을 골라도, $n$번째 이후에 $A_k$가 또 일어난다. $
ightarrow$
$A_k$가 무한히 일어난다.
$$\limsup_{n\to\infty} A_n$$
수열 $(a_n)$에 대해, $n$번째 이후의 sup를 취합니다.
$$s_n = \sup_{k \ge n} a_k = \sup{a_n, a_{n+1}, a_{n+2}, \dots}$$
$n$을 늘리면 sup를 취하는 대상 집합이 작아지므로, $s_n$은 단조 감소입니다.
$$s_1 \ge s_2 \ge s_3 \ge \cdots$$
따라서 단조 수렴 정리(Monotone Convergence Theorem)에 의해 $s_n$의 극한이 존재하며, 이를 상한 극한이라고 정의합니다 (값이 $\pm\infty$가 되는 경우도 허용합니다).
$$\limsup_{n\to\infty} a_n = \lim_{n\to\infty} \sup_{k \ge n} a_k = \inf_{n \ge 1} \sup_{k \ge n} a_k$$
즉, 상한 극한은 'n번째 이후의 최댓값이 $n \to \infty$에서 안착하는 지점'입니다.
$A_k$가 무한히 일어난다.
$n$번째 이후의 최댓값이 $n \to \infty$에서 안착한다.
이 두 가지가 왜 등호인지가 오랜 의문이었지만, 아래의 생각 방식으로 납득할 수 있었습니다.
사건이 일어나는 횟수가 무수히 많다는 것입니다.
다시 말해, 어디까지 앞으로 나아가도 반드시 그 앞에서 다시 일어난다는 것입니다. 매번 일어날 필요는 없습니다. 도중에 일어나지 않는 횟수가 아무리 많아도 상관없습니다. 중요한 것은 어느 시점을 경계로 두 번 다시 일어나지 않게 되는 경우가 없다는 것입니다.
반대로, 일어나는 횟수가 유한개에 불과하다면, 마지막으로 일어난 횟수가 있습니다. 그 횟수보다 뒤에서는 더 이상 일어나지 않습니다.
수의 나열이 있을 때, 어떤 번호부터 뒤만 보고 그 중에서 가장 높은 곳을 생각합니다. 이것이 최고 도달점입니다.
관찰을 시작하는 번호를 뒤로 옮겨가면, 관찰 범위에서 앞쪽의 항이 빠져나갑니다. 빠져나간 항 중에 높은 것이 있다면, 최고 도달점은 낮아집니다. 빠져나간 항이 그리 높지 않다면, 최고 도달점은 변하지 않습니다. 어느 쪽이든, 올라가지는 않습니다. 관찰 범위가 좁아질 뿐, 새롭게 추가되는 항은 없기 때문입니다.
이렇게 계속 하락한 최고 도달점이 최종적으로 도달하는 곳이 상극한(upper limit)입니다.
이러한 조작을 통해, 앞쪽에서 한 번만 나타났던 높은 값은 관찰 범위 밖으로 빠져나가 사라집니다. 끝까지 남는 것은, 아무리 멀리 나아가도 여러 번 나타날 수 있는 높이뿐입니다.
사건(event)의 경우도 같은 조작을 합니다.
어떤 번호부터 뒤만 보고, '그 중간 어디선가 사건이 발생하는지'를 생각합니다. 이것이 수열의 '최고 도달점'에 해당합니다.
관찰을 시작하는 번호를 뒤로 옮겨가면, 앞쪽에서 발생했던 횟수는 관찰 범위 밖으로 빠져나갑니다. 만약 발생하는 횟수가 유한 개밖에 없다면, 마지막으로 발생한 횟수를 지나친 시점부터는 '그 이후에 발생한다'가 성립하지 않게 됩니다. 그리고 그 이후로는 다시는 성립하지 않습니다. 이것이 최고 도달점이 '낮아지는 것'에 해당합니다.
반면에, 발생하는 횟수가 무한하다면, 아무리 옮겨도 그 뒤에 아직 발생할 횟수가 남아 있습니다. '그 이후에 발생한다'는 끝까지 무너지지 않습니다. 이것이 최고 도달점이 '떨어져 나간 곳에도 남아 있는 것'에 해당합니다.
두 설명 모두 생각하는 방식은 같습니다.
관찰을 시작하는 번호를 계속 뒤로 옮기며, 앞쪽에서 일시적으로 발생한 것은 버려나갑니다. 그럼에도 끝까지 남아 계속되는 것을 추출해내는 것입니다.
수열에서는 끝까지 남는 높이가 상극한입니다. 사건에서는 끝까지 '그 이후에 또 발생하는 것'이 남아 계속되는 것이 '무한히 발생하는 것'입니다.
