Python으로 〇× 게임의 AI를 처음부터 작성하기 그 228 대수의 법칙의 수학적 정의와 그 해설

본 기사의 프로그램은 Python 버전 3.13에서 실행하고 있습니다. 또한, numpy 버전은 2.3.5입니다.

링크	설명
marubatsu.py	Marubatsu, Marubatsu_GUI 클래스의 정의
...	AI 목록과 지금까지 작성한 데이터 파일에 대해서는 아래 기사를 참조해 주세요.

이번 기사에서는 **대수의 법칙 (Law of Large Numbers)**의 정의에 대해 설명합니다.

**대수의 법칙 (Law of Large Numbers)**에는 **대수의 약법칙 (Weak Law of Large Numbers)**과 대수의 강법칙 (Strong Law of Large Numbers) 두 종류가 있으며, 대수의 강법칙이 더 강력한 주장을 합니다. 대수의 강법칙의 증명이 상당히 어렵다는 점과, 몬테카를로 방법 (Monte Carlo method)에 의한 원주율 근사나 향후 기사에서 설명할 원시 몬테카를로 방법 (Crude Monte Carlo method)에 의한 AI 작성을 수행하는 경우에는 대수의 약법칙의 성질로 충분하다고 생각되므로, 본 기사에서는 대수의 약법칙을 설명하겠습니다.

또한, 이후의 설명에서는 대수의 약법칙을 단순히 대수의 법칙이라고 표기하겠습니다.

참고로 대수의 법칙의 Wikipedia 링크를 아래에 기재합니다.

아래는 Wikipedia에 기재되어 있는 대수의 약법칙의 정의입니다. 또한, 약간 말투를 바꾸었지만 의미는 같습니다.

**독립 동일 분포 (i.i.d.)**를 따르는 가적분 (Integrable) 가능한 **확률 변수 (Random variable)**의 무한열 $\boldsymbol{X_1}$, $\boldsymbol{X_2}$, … 가 주어졌을 때, 그 평균을 $\boldsymbol{μ}$라고 한다 -
**표본 크기 (Sample size)**가 $\boldsymbol{n ≧ 1}$인 **표본 평균 (Sample mean)**을 나타내는 확률 변수 $\boldsymbol{\bar{X_n}}$을 아래 식으로 정의한다

$\boldsymbol{\bar{X_n} = \frac{1}{n}\sum_{i=1}^n X_i}$

표본 평균 $\boldsymbol{\bar{X_n}}$이 $\boldsymbol{μ}$의 **근방 (Neighborhood)**에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 작게 만들 수 있다

위의 $\boldsymbol{X_i}$와 $\boldsymbol{\bar{X_n}}$은 비슷한 표기이지만, 아래와 같이 크게 다른 의미를 나타낸다는 점에 주의하십시오.

• $\boldsymbol{X_i}$는 $\boldsymbol{i}$번째 표본의 값을 나타내는 확률 변수
• $\boldsymbol{\bar{X_n}}$은 표본 크기가 $\boldsymbol{n}$인 표본의 표본 평균을 나타내는 확률 변수

아래는 위의 3을 나타내는 수식으로, 대수의 법칙은 위의 1, 2의 조건이 충족되었을 경우에 표본 평균의 성질을 나타내는 아래의 식 성립을 나타내는 법칙입니다.

$\boldsymbol{\lim_{n \to \infty} P(|\bar{X_n} - μ|> ε) = 0}$, ($\boldsymbol{\forall ε > 0}$)

**대수의 강법칙 (Strong Law of Large Numbers)**은, 위와 동일한 조건에서 $\boldsymbol{n}$을 무한대까지 크게 하면 $\boldsymbol{\bar{X_n}}$이 $\boldsymbol{μ}$에 일치할 확률이 1에 가까워진다는 것이며, 식으로 표현하면 다음과 같습니다.

$\boldsymbol{P(\lim_{n \to \infty} \bar{X_n} = μ)= 1}$

약법칙과 무엇이 다른지 잘 모르겠는 분이 많을 것이라 생각됩니다만, 약법칙보다 엄격한 조건을 나타내고 있습니다. 약법칙과의 차이나 강법칙의 증명은 상당히 어렵기 때문에 본 기사에서는 설명을 생략합니다. 관심이 있는 분은 조사해 보시기 바랍니다.

아마도 많은 분은 위의 정의의 의미를 잘 모르실 것입니다. 위의 대수의 법칙의 정의를 모집단으로부터 무작위 복원 추출을 수행했을 경우의 표본 평균의 성질로 설명하면 다음과 같습니다.

• **모집단 (Population)**의 모평균 (Population Mean) $\boldsymbol{\mu}$를 계산할 수 있다고 가정한다
• 그 모집단으로부터 $\boldsymbol{n}$개의 요소를 **무작위 복원 추출 (Random Sampling with Replacement)**한 **표본 (Sample)**의 **표본 평균 (Sample Mean)**을 $\boldsymbol{\bar{x_n}}$이라 한다
• $\boldsymbol{\bar{x_n}}$이 $\boldsymbol{\mu}$의 **근방 (Neighborhood)**에서 벗어날 확률은 충분히 큰 $\boldsymbol{n}$을 취하면 얼마든지 작게 만들 수 있다

그 이유에 대해서는 이후에 자세히 설명하겠지만, 위의 3을 요약하면 "시행 횟수를 늘리면 늘릴수록, 그 **결과의 평균 (표본 평균)**은 **이론상의 평균 (모평균)**에 가까워진다"라는 수학 용어를 사용하지 않는 경우의 **대수의 법칙 (Law of Large Numbers)**에 대한 설명이 됩니다.

대수의 법칙의 정의를 위와 같이 바꿔 말할 수 있는 이유와, 아래의 식이 대수의 법칙을 나타내는 이유에 대해 설명하겠습니다.

$\boldsymbol{\lim_{n \to \infty} P(|\bar{X_n} - \mu|> \epsilon) = 0}$, ($\boldsymbol{\forall \epsilon > 0}$)

먼저, 대수의 법칙의 정의 1, 2에서 가적분 (Integrable) 및 평균에 관한 기술을 제외한 아래의 설명을 진행합니다.

**독립 동일 분포 (IID, Independent and Identically Distributed)**를 따르는 확률 변수 (Random Variable)의 무한열 $\boldsymbol{X_1, X_2, \dots}$가 주어졌다고 가정한다

**표본 크기 (Sample Size)**가 $\boldsymbol{n \ge 1}$인 표본 평균을 나타내는 확률 변수 $\boldsymbol{\bar{X_n}}$을 아래의 식으로 정의한다

$\boldsymbol{\bar{X_n} = \frac{1}{n}\sum_{i=1}^n X_i}$

대수의 법칙의 정의 3은 표본 크기가 $\boldsymbol{n}$인 표본의 표본 평균의 성질을 나타내고 있습니다. 또한, 위의 1, 2로부터 그 표본 평균을 나타내는 확률 변수 $\boldsymbol{\bar{X_n}}$은 독립 동일 분포를 따르는 확률 변수 $\boldsymbol{X_1, X_2, \dots, X_n}$에 의해 계산됩니다.

이전 기사에서 설명했듯이, 독립 동일 분포란 여러 확률 변수가 서로 영향을 주지 않고 (독립, Independent), 동일한 확률 분포를 따르는 (동일 분포, Identically Distributed) 성질을 나타내며, 모집단으로부터 여러 번의 무작위 복원 추출을 수행하면 각각의 추출 결과를 나타내는 확률 변수는 독립 동일 분포를 따릅니다.

또한, 대수의 법칙의 정의 2에서는 표본 크기를 나타내는 $\boldsymbol{n}$에 상한을 두지 않았기 때문에, 독립 동일 분포를 따르는 무한개의 확률 변수 $\boldsymbol{X_1, X_2, \dots}$가 존재할 필요가 있습니다.

이러한 점들로부터, 대수의 법칙의 정의 1, 2에서 가적분과 평균에 관한 기술을 제외한 것은 아래와 같이 모집단으로부터 무작위 복원 추출을 했을 경우의 표본 평균에 관한 설명으로 표현할 수 있습니다.

모집단으로부터 $\boldsymbol{n}$개의 요소를 무작위 복원 추출한 표본의 표본 평균을 $\boldsymbol{\bar{x_n}}$이라 한다

방금 전과 마찬가지로, $\boldsymbol{x_i}$와 $\boldsymbol{\bar{x_n}}$은 비슷한 표기이지만, 아래와 같이 크게 다른 의미를 나타낸다는 점에 주의하십시오.

• $\boldsymbol{x_i}$는 $\boldsymbol{i}$번째 표본의 값
• $\boldsymbol{\bar{x_n}}$은 표본 크기가 $\boldsymbol{n}$인 표본의 표본 평균

또한, 대문자 $\boldsymbol{X_i}$는 확률 변수이며, 소문자 $\boldsymbol{x_i}$는 그 **실현값 (Realized Value)**입니다.

아래 **대수의 법칙 (Law of Large Numbers)**의 정의 1에서 말하는 "가적분 (Integrable) 가능한 확률 변수 (Random Variable)"란, 간단히 말하면 **확률 변수의 기대값 (Expectation, 평균)**을 유한한 값으로 계산할 수 있다는 의미를 나타냅니다. 이러한 조건이 필요한 이유는, 기대값을 유한한 값으로 계산할 수 없는 확률 분포가 존재하며, 그러한 확률 분포에 대해서는 대수의 법칙이 성립하지 않기 때문입니다.

**독립 동일 분포 (IID, Independent and Identically Distributed)**를 따르는 가적분 가능한 확률 변수의 무한열 $\boldsymbol{X_1}$, $\boldsymbol{X_2}$, … 가 주어졌을 때, 그 평균을 $\boldsymbol{μ}$라고 한다

따라서, 위의 대수의 법칙의 정의 1은 다음과 같이 바꾸어 말할 수 있습니다.

모집단의
모평균 (Population Mean) $\boldsymbol{μ}$가 계산 가능하다고 한다

참고로, 기대값을 유한한 값으로 계산할 수 없는 확률 분포의 구체적인 예에 대해서는 후술하겠습니다.

가적분 (Integrability)의 정의는 다음과 같이, 확률 변수의 기대값이 유한한 값으로 계산될 수 있음을 나타냅니다.

확률 변수 $\boldsymbol{X}$에 대하여 $\boldsymbol{E[|X|] < ∞}$를 만족하는 상태

참고로, Wikipedia의 가적분 항목은 용어는 같지만 위의 가적분과는 다른 분야의 다른 의미를 가진 용어인 것 같습니다.

아래는 대수의 법칙의 정의 3을 다시 게시한 것입니다.

표본 평균 (Sample Mean) $\boldsymbol{\bar{X_n}}$이 취하는 값이 $\boldsymbol{μ}$**의 근방 (Neighborhood)**에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 택하면 얼마든지 작게 만들 수 있다

표본 평균 $\boldsymbol{\bar{X_n}}$ 이 취하는 값이란 확률 변수 $\boldsymbol{\bar{X_n}}$ 의 실현값 (Realized Value) $\boldsymbol{\bar{x_n}}$을 의미하므로, 위 내용은 다음과 같이 바꾸어 말할 수 있습니다.

-$\boldsymbol{\bar{x_n}}$이 $\boldsymbol{μ}$
의 근방에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 택하면 얼마든지 작게 만들 수 있다

따라서, 대수의 법칙의 정의는 다음과 같이 바꾸어 말할 수 있습니다.

모집단의
모평균 $\boldsymbol{μ}$가 계산 가능하다고 한다 - 그
모집단에서 $\boldsymbol{n}$개의 요소를 **무작위 복원 추출 (Random Sampling with Replacement)**한
표본의 표본 평균을 $\boldsymbol{\bar{x_n}}$이라 한다 - $\boldsymbol{\bar{x_n}}$이 $\boldsymbol{μ}$
의 근방에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 택하면 얼마든지 작게 만들 수 있다

아래의 대수의 법칙의 정의 3의 의미를 잘 모르겠다고 생각하는 분들이 많을 것이라 생각되어 해설하겠습니다.

-$\boldsymbol{\bar{x_n}}$이 $\boldsymbol{μ}$
의 근방에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 택하면 얼마든지 작게 만들 수 있다

또한, 위의 내용을 아래의 식으로 나타낼 수 있는 이유를 설명하겠습니다.

$\boldsymbol{\lim_{n \to \infty} P(|\bar{X_n} - μ|> ε) = 0}$, ($\boldsymbol{\forall ε > 0}$)

위의 대수의 법칙의 정의 3에서는 **근방 (Neighborhood)**이라는 용어가 사용되었습니다. 일반 용어로서의 근방은 무언가의 **가까운 곳 (근처, 부근)**을 의미하지만, 그러한 막연한 표현으로는 수학적인 증명을 수행할 수 없기 때문에, 근방의 수학적인 정의를 설명하겠습니다.

**근방 (Neighborhood)**에는 몇 가지 종류가 있지만, **대수의 법칙 (Law of Large Numbers)**의 근방은 아래의 실수 (Real Number) $\boldsymbol{\epsilon}$ 근방1을 의미합니다. 또한, $\boldsymbol{\epsilon}$은 그리스 문자 소문자로 **입실론 (epsilon)**이라고 읽습니다.

실수 (Real Number) $\boldsymbol{a}$의 $\boldsymbol{\epsilon}$ 근방은 임의의 양의 실수 (Arbitrary Positive Real Number) $\boldsymbol{\epsilon}$에 대하여 아래 식을 만족하는 실수 $\boldsymbol{b}$의 집합을 나타낸다.

$\boldsymbol{|b - a| < \epsilon}$

위의 절댓값을 벗기면 다음과 같이 되며, $\boldsymbol{a}$의 전후가 $\boldsymbol{\epsilon}$ 범위 내의 수치임을 나타낸다.

$\boldsymbol{a - \epsilon < b < a + \epsilon}$

$\boldsymbol{\epsilon}$ 근방은 실수나 2차원 평면 위의 점과 같이 거리의 개념이 있는 공간2** 위의 점**에 대하여 정의되는 근방의 일종으로, 점으로부터의 거리가 $\boldsymbol{\epsilon}$ 이내인 점의 집합을 나타낸다.

예를 들어, (x, y)와 같은 2차원 공간 위의 점에 대해서도 $|b - a| < \epsilon$이라는 식으로 $\epsilon$ 근방이 정의되며, 이 경우의 $|b - a|$는 점 $a$와 $b$ 사이의 거리3를 나타낸다. 따라서 2차원 점의 $\epsilon$ 근방은 점 $a$를 중심으로 하는 반지름이 $\epsilon$인 원의 내부 점들의 집합을 나타낸다. 3차원 이상의 경우도 마찬가지로, 3차원 점의 경우 점 $a$를 중심으로 하는 반지름이 $\epsilon$인 구의 내부 점들의 집합을 나타낸다.

또한, 거리의 개념을 가지지 않는 공간이 포함되는 **위상 공간 (Topological Space)**이라 불리는 공간에 대해서도 근방을 정의할 수 있지만, 위상 공간은 대학 수학에서 배우는 복잡한 개념인 점과 대수의 법칙 증명에는 필요하지 않으므로 설명은 생략한다.

참고로 Wikipedia의 근방 (Neighborhood) 항목 링크를 아래에 제시한다. 참고로 아래 링크의 근방 설명은 상당히 어려우므로 의미를 이해하지 못하더라도 억지로 이해할 필요는 없다.

$\boldsymbol{\epsilon}$ 근방이라는 개념은 $\boldsymbol{\epsilon}$의 구체적인 값을 설정하지 않고, 가까움을 나타내는 $\boldsymbol{\epsilon}$을 양의 임의의 실수라는 **변수 (Variable)**로 정의함으로써, 모든 범위를 가지는 근방을 나타내는 유연한 개념으로 이용할 수 있다.

예를 들어 $\boldsymbol{a = 10}$, $\boldsymbol{\epsilon = 10000}$인 경우 $\boldsymbol{a}$의 $\epsilon$ 근방은 $\boldsymbol{|b - 10| < 10000}$, 즉 $\boldsymbol{-9990 < b < 10010}$이라는 큰 범위의 실수를 나타낸다. $\boldsymbol{a = 10}$, $\boldsymbol{\epsilon = 0.000001}$인 경우는 $\boldsymbol{|b - 10| < 0.000001}$, 즉 $\boldsymbol{9.999999 < b < 10.000001}$이라는 매우 좁은 범위의 실수를 나타낸다.

후술하겠지만, 모든 범위를 나타낼 수 있다는 것은 0에 얼마든지 가까운 범위를 표현할 수 있다는 것을 의미하므로, **수열 (Sequence)이나 함수 (Function)**의 **극한값 (Limit Value)**을 $\boldsymbol{\epsilon}$ 근방을 이용하여 엄밀하게 정의할 수 있다.

**대수의 법칙 (Law of Large Numbers)**의 정의 3 중에 "근방에서 벗어날 확률"이라는 표현이 있다. 이 표현의 근방은 위에서 설명한 $\boldsymbol{\epsilon}$ 근방을 의미하지만, 그때 구체적인 $\boldsymbol{\epsilon}$ 값에 대해 언급하지 않았으므로, 임의의 $\boldsymbol{\epsilon}$에 대하여 성립한다는 것을 의미한다.

따라서 대수의 법칙의 정의 3은 다음과 같이 바꿔 말할 수 있다.

임의의 양의 실수 $\boldsymbol{\epsilon}$에 대하여 다음이 성립한다

$\boldsymbol{\bar{x_n}}$가 $\boldsymbol{\mu}$의 $\boldsymbol{\epsilon}$ **근방 (neighborhood)**에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 작게 만들 수 있다

**대수의 법칙 (Law of Large Numbers)**의 정의 3에서 얼마든지 작게 만들 수 있다는 확률을 나타내고 있으며, 확률 값의 범위는 0 이상 1 이하이므로 최솟값은 0입니다. 따라서 **대수의 법칙 (Law of Large Numbers)**의 정의 3은 다음과 같이 바꿔 말할 수 있습니다.

임의의 양의 실수 $\boldsymbol{\epsilon}$에 대하여 다음이 성립한다

$\boldsymbol{\bar{x_n}}$가 $\boldsymbol{\mu}$의 $\boldsymbol{\epsilon}$ **근방 (neighborhood)**에서 벗어날 확률은, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 0에 가깝게 만들 수 있다

앞서 설명한 $\boldsymbol{\epsilon}$ **근방 (neighborhood)**의 정의로부터, $\boldsymbol{\bar{x_n}}$가 $\boldsymbol{\mu}$의 $\boldsymbol{\epsilon}$ 근방 (neighborhood)에 포함된다는 것은 다음 식으로 나타낼 수 있습니다.

$\boldsymbol{|\bar{x_n} - \mu| < \epsilon}$

$\boldsymbol{\bar{x_n}}$가 $\boldsymbol{\mu}$의 $\boldsymbol{\epsilon}$ 근방 (neighborhood)에서 벗어난다는 것은, $\boldsymbol{\bar{x_n}}$가 $\boldsymbol{\mu}$의 $\boldsymbol{\epsilon}$ 근방 (neighborhood)에 포함되지 않는다는 것을 의미하므로 다음 식으로 나타낼 수 있습니다.

$\boldsymbol{|\bar{x_n} - \mu| \geqq \epsilon}$

$\boldsymbol{\bar{x_n}}$는 확률변수 $\boldsymbol{\bar{X_n}}$의 **실현값 (realization)**이므로, $\boldsymbol{|\bar{x_n} - \mu|}$는 $\boldsymbol{|\bar{X_n} - \mu|}$로 정의되는 확률변수의 실현값입니다. 따라서, 표본평균 (sample mean) $\boldsymbol{\bar{X_n}}$의 실현값 $\boldsymbol{\bar{x_n}}$이 평균 (mean) $\boldsymbol{\mu}$의 $\boldsymbol{\epsilon}$ **근방 (neighborhood)**에서 벗어날 확률은 다음과 같은 식으로 표현할 수 있습니다.

$\boldsymbol{P(|\bar{X_n} - \mu| \geqq \epsilon)}$

따라서 **대수의 법칙 (Law of Large Numbers)**의 정의 3은 다음과 같이 바꿔 말할 수 있습니다.

임의의 양의 실수 $\boldsymbol{\epsilon}$에 대하여 다음이 성립한다

$\boldsymbol{P(|\bar{X_n} - \mu| \geqq \epsilon)}$는, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 0에 가깝게 만들 수 있다

덧붙여, Wikipedia의 대수의 법칙 정의 식에서는 다음과 같이 부등호가 $\boldsymbol{\geqq}$가 아니라 $\boldsymbol{>}$로 되어 있는 듯합니다. 자세한 내용은 생략하지만, 어느 부등호를 사용하여 대수의 법칙을 정의해도 문제는 없으므로 본 기사에서는 이후 Wikipedia에 맞춰 다음 식을 사용하기로 하겠습니다. 또한, 대수의 법칙 정의 식을 위와 같이 $\boldsymbol{\geqq}$를 사용하여 표현하는 경우도 있는 듯합니다.

$\boldsymbol{P(|\bar{X_n} - \mu| > \epsilon}$

임의의 (for all) 양의 실수 $\boldsymbol{\epsilon}$에 대하여 성립한다는 조건을 수학에서는 A를 뒤집은 $\boldsymbol{\forall}$라는 **전칭 기호 (universal quantifier)**를 사용하여 표현합니다. 예를 들어, 양의 실수인 임의의 $\boldsymbol{\epsilon}$에 대해 성립한다는 조건은 다음과 같이 기술합니다. 또한, 전칭 기호는 "모든 (임의의) ~에 대하여" (영어로는 for all)라고 읽습니다.

$\boldsymbol{\forall ε > 0}$

전칭 기호(Universal Quantifier)에 의한 조건은 식의 앞에 직접 기술하거나, 식의 뒤에 ( )로 감싸서 기술합니다. 아래는 **대수의 법칙 (Law of Large Numbers)**의 정의 3을 전칭 기호를 사용하여 다시 표현한 것입니다.

$\boldsymbol{P(|\bar{X_n} - μ| > ε)}$는, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 0에 가깝게 만들 수 있다, ($\boldsymbol{\forall ε > 0}$)

전칭 기호에 의한 조건을 앞부분에 기술하는 경우는 다음과 같습니다.

$\boldsymbol{\forall ε > 0}$, $\boldsymbol{P(|\bar{X_n} - μ| > ε)}$는, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 0에 가깝게 만들 수 있다

유사한 기호로, 조건을 만족하는 값이 **적어도 하나는 존재 (exist)**함을 나타내는, E를 뒤집은 $\boldsymbol{\exists}$ (존재 기호 (Existential Quantifier))가 있습니다.

$\boldsymbol{\bar{x_n}}$은 **표본 크기 (Sample Size)**를 $\boldsymbol{n}$이라고 할 때 $\boldsymbol{\bar{x_n} = \frac{1}{n}\sum_{i=1}^n x_i}$에 의해 계산되므로, **대수의 법칙 (Law of Large Numbers)**의 정의 3 중 $\boldsymbol{|\bar{x_n} - μ| > ε}$가 되는 확률을 나타내는 $\boldsymbol{P(|\bar{X_n} - μ| > ε)}$는 표본 크기에 의해 결정되는 확률입니다. 표본 크기를 $\boldsymbol{n}$이라고 했을 때의 $\boldsymbol{P(|\bar{X_n} - μ| > ε)}$를 $\boldsymbol{a_n}$이라고 표기하고, 표본 크기가 작은 순서대로 나열하면 $\boldsymbol{a_1, a_2, \dots}$와 같은 무한개의 수열로 표현할 수 있습니다.

따라서, **대수의 법칙 (Law of Large Numbers)**의 정의 3은 다음과 같이 다시 표현할 수 있습니다.

• $\boldsymbol{a_n}$을 표본 크기가 $\boldsymbol{n}$인 경우의 $\boldsymbol{P(|\bar{X_n} - μ| > ε)}$라고 하면 다음이 성립한다

$\boldsymbol{a_n}$은, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 0에 가깝게 만들 수 있다, ($\boldsymbol{\forall ε > 0}$)

이 "$\boldsymbol{a_n}$은, 충분히 큰 $\boldsymbol{n}$을 취하면, 얼마든지 0에 가깝게 만들 수 있다"라는 설명은 아래의 식으로 나타내어지는 **수열의 극한값 (Limit Value)**을 대학 수학에서 배우는 $\boldsymbol{\epsilon-N}$ **논법 (Epsilon-N proof)**에 의해 정의한 것입니다.

$\boldsymbol{\lim_{n \to \infty} a_n = 0}$

따라서 위 식의 $\boldsymbol{a_n}$을 $\boldsymbol{P(|\bar{X_n} - μ| > ε)}$로 치환하면 **대수의 법칙 (Law of Large Numbers)**의 정의 3은 아래의 식으로 표현할 수 있습니다.

$\boldsymbol{\lim_{n \to \infty} P(|\bar{X_n} - μ|> ε) = 0}$, ($\boldsymbol{\forall ε > 0}$)

이러한 성질을, 확률 변수 (Random Variable) $\boldsymbol{\bar{X_n}}$이 $\boldsymbol{μ}$로 **확률 수렴 (Convergence in Probability)**한다고 부릅니다.

$\boldsymbol{\epsilon-N}$ 논법에 의한 극한값의 정의에 대해 이해하지 않아도 대수의 법칙을 설명할 수는 있지만, 기왕 하는 김에 그 설명을 진행하도록 하겠습니다. 고등학교 수학에서는 배우지 않는 조금 어려운 개념이므로 의미를 모르시는 분들은 건너뛰어도 괜찮을 것입니다.

고등학교 수학에서는, 무한수열 (Infinite Sequence) $\boldsymbol{a_n}$ 이 $\boldsymbol{n}$ 을 크게 할 때 유한한 값인 $\boldsymbol{b}$ 에 한없이 가까워질 때 $\boldsymbol{b}$를 $\boldsymbol{a_n}$의 극한 (Limit) 또는 극한값 (Limit Value) 이라고 정의하며, 다음의 식으로 극한값을 표현합니다.

$\boldsymbol{\lim_{n \to \infty} a_n = b}$

예를 들어 $\boldsymbol{a_n = \frac{1}{n}}$ 인 경우에는 $\boldsymbol{n}$ 을 크게 할 때 $\boldsymbol{\frac{1}{n}}$ 은 한없이 0에 가까워지므로 극한값은 0이며, 다음의 식으로 표현합니다.

$\boldsymbol{\lim_{n \to \infty} a_n = 0}$

이 정의에서는 한없이 가까워진다라는 다루기 어려운 무한을 의미하는 용어가 사용되었기 때문에, 대학교 수학에서는 수열의 극한값을 다음과 같이 보다 엄밀한 $\boldsymbol{\epsilon-N}$ 논법 ($\epsilon-N$ Proof) 으로 정의합니다. 또한, 논법 이름의 유래는 $\boldsymbol{\epsilon}$과 $\boldsymbol{N}$ 이라는 기호를 사용하고 있기 때문입니다.

임의의 양의 실수 $\boldsymbol{\epsilon}$ 에 대하여 다음의 성질이 성립한다.