07. Discrete Probability Distribution

• 베르누이 시행, 이항분포
• 기하분포, 음이항분포
• 초기하분포

몇가지 중요한 이산 확률 분포들을 알아보겠습니다. 대부분의 내용이 별로 어렵지는 않습니다.

각 분포의 $\E(X), \V(X)$를 증명하는 과정은 나중에 확률만 집중적으로 다룰때 생각하고 지금은 넘어갈 계획입니다.

베르누이 시행, 이항분포

동전 하나를 던지는 것처럼, 결과가 성공과 실패 중 하나이며 성공확률이 정해져있는 시행을 베르누이 시행 (Bernoulli Trial) 이라 합니다.

• 이때, 확률질량함수는 자명하게 $f(x) = p^x (1-p)^{1-x}$ 이고 ($x = 0, 1$)
• $\E(X) = p, \V(X) = p(1-p)$ 임이 잘 알려져 있습니다.

이러한 베르누이 시행을 $n$번 반복하였을 때, 그 성공 횟수를 확률변수로 나타내었다고 하겠습니다.
이때의 분포를 이항분포 (Binomial distribution) 이라 합니다.

• 시행의 성공확률이 $p$, 반복횟수가 $n$일 때 이를 $X \sim B(n, p)$로 씁니다.
• 확률질량함수는 $f(x) = \binom{n}{x} p^x (1-p)^{1-x}$ 임이 잘 알려져 있으며 ($x = 0, 1, \dots n$)
• 이항 정리로부터, $\E(X) = np, \V(X) = np(1-p)$ 임을 알 수 있습니다.
• 또는, $\E$ 와 $\V$의 기본 성질 중 하나인, 독립인 변수를 더했을 때의 공식을 이용해서도 같은 사실을 쉽게 알 수 있습니다.

기하분포, 음이항분포

서로 독립이고, 성공 확률이 $p$인 베르누이 시행에서, 첫 성공이 관찰될 때까지의 시행 횟수의 분포를 기하분포 (Geometric distribution) 이라 합니다. 또한, 이를 $X \sim \text{Geo}(p)$ 로 씁니다.

• $X = k$ 이기 위해서는 $k-1$번 연속으로 실패하고 $k$번째에 성공해야 하므로, 확률질량함수는 $f(x) = (1-p)^{x-1}p$ 입니다.
• $\E(X) = 1/p$ 임은 직관적으로 당연해 보입니다. 이를 증명해 보면…
  • $\sum_{k = 0}^{\infty} k (1-p)^{k-1} p$ 를 계산하면 되고,
  • 이렇게 생긴 급수를 Arithmetic-Geometric Progression 등으로 부르며, 잘 알려진 공식 을 적용할 수 있습니다. 사실 고등학교때 한번쯤 해본, $S$ 에 $(1-p)S$를 빼서 계산하는 공식입니다.
  • 계산하면 $\E(X) = 1/p$를 얻습니다.
• $\V(X)$의 계산은 좀더 복잡하기 때문에, 여기서는 생략합니다. $\V(X) = \frac{1-p}{p^2}$ 입니다.

기하분포를 보다 확장하여, $r$번 성공할 때까지의 시행횟수의 분포를 음이항분포 라 합니다.

• 거의 그대로 생각해서 확장할 수 있습니다. $X = x$ 이기 위해서는, $x-1$번 중 정확히 $r-1$번 성공한 후, $x$번째를 성공해야 하므로
• 확률질량함수는 $f(x) = \binom{x-1}{r-1} p^r (1-p)^{x-r}$ 입니다.
• 대의적으로는 기하분포 $r$개의 합으로 생각하는 것이 매우 자연스럽고, 이에 따라 $\E(X) = r/p$, $\V(X) = r(1-p)/p^2$ 을 얻습니다.

초기하분포

이항분포를 확률이 $p$인 베르누이 시행의 반복이라고 썼지만, 실제로는 $p$ 비율만큼의 1이 있는 상황에서 복원추출을 하는 상황으로도 생각할 수 있습니다. 이와는 달리, 어떤 정해진 $N$개의 대상 중 $D$개가 1이고 나머지가 0일 때, $n$개를 (비복원으로) 뽑아서 1이 몇개나 나오는지 생각하는 것도 가능합니다. 이를 초기하분포 (Hypergeometric Distribution) 라 하며, 기호로는 $H(n; N, D)$ 로 씁니다.

• $X \sim H(n; N, D)$ 일 때, 확률질량함수는 간단한 경우의 수 문제로 구할 수 있습니다. $f(x) = \binom{D}{x} \binom{N-D}{n-x} \binom{N}{n}^{-1}$. 총 $\binom{N}{n}$개의 가능한 조합 중, $x$개의 1이 나오는 경우의 수를 세는 것입니다.
• $\E$ 와 $\V$ 모두 (조금 고통스러운) 계산을 통해 구할 수 있고, 다음과 같습니다. \(\E(X) = \frac{nD}{N}, \quad \quad \V(X) = \frac{n(N-n)}{N-1}\frac{D(N-D)}{N^2}\)
• 여기에서, $N$이 매우 크고 $n$이 상대적으로 작으며 $D / N = p$ 이면 분포 전체가 $B(n, p)$ 와 비슷해집니다. 이는 계산을 통해서도 증명할 수 있지만, 간단히 논증해보면 매우 큰 집단에서 극히 일부를 추출할 때는 복원추출 (이항분포) 이나, 비복원추출 (초기하분포) 이나 비슷하다는 것이므로 합리적인 것 같습니다.