확률과 통계 기초: 큰 수의 법칙

앞면이 나오면 100원을 얻고 뒷면이 나오면 100원을 잃는 동전 던지기 게임이 있다고 하자.

동전 던지기를 n번 반복하면, 결과의 흔들림 폭(표준편차) 는 100√n에 비례해 커진다. 즉, 시행이 많아질수록 누적 손익의 분포는 점점 넓게 퍼진다. 어떤 사람은 큰 이익을, 어떤 사람은 큰 손실을 볼 수 있게 된다는 뜻이다. (합의 기댓값, 분산, 표준편차 개념은 링크 참조)

많은 사람들이 "큰 수의 법칙"을 이렇게 이해한다.

동전을 많이 던질수록 결국 본전 근처로 돌아온다.

길게 보면 결국 확률은 50%니까 언젠가 균형 잡힌다.

하지만 이것은 대표적인 확률적 착각이다.

갈톤 보드를 떠올려 보자. 갈톤 보드에서 구슬은 매 층마다 왼쪽이나 오른쪽으로 무작위로 튕겨 내려간다. 이때 층의 개수는 시행횟수 n에 해당한다. 층이 많아질수록 구슬이 도달할 수 있는 위치(분포)는 더 넓어진다. 그러나 왼쪽 끝에서 떨어진 구슬이 중앙 쪽으로 돌아오는 일은 없다. 구슬 하나하나는 오직 자신만의 경로를 따라 내려갈 뿐이다.

중요한 사실은 이것이다.

층이 많아져도, 즉 시행횟수가 증가해도 "개별 구슬"은 중앙으로 수렴하지 않는다.

다만 구슬 전체를 모아보면 평균 위치가 중앙으로 몰릴 뿐이다.

이것이 '큰 수의 법칙'의 진짜 의미다.

큰 수의 법칙은 '개인'이 아니라 '집단 평균'에 대한 법칙이다.

개별 경로는 여전히 요동치며 멀리 벗어날 수 있다.

그러나 표본평균은 기댓값으로 수렴한다.

이제 수식으로 정리해보자.

1️⃣ 표본평균의 수렴

갈톤 보드의 비유는 중요한 힌트를 준다. 개별 경로는 흩어지지만 평균은 질서를 향해 모인다. 이제 이 현상을 동전 던지기 게임으로 다시 확인해보자.

동전 던지기의 한 번 결과를 확률변수 Xi라고 정의하면,

이 게임을 n번 반복했을 때의 평균 손익, 즉 표본평균은 다음과 같다.

이 값은 시행이 많아질수록 기댓값 E[X]=0에 가까워진다. 이것이 큰 수의 법칙의 핵심 진술이다. 중요한 점은 이 ...