결합 확률과 조건부 확률

베이지안 확률론에서는 사건(event)을 실제로 발생한 표본이 포함되어 있을 수 있는 후보 집단으로 본다. 따라서 사건이란 "실제로 발생한 표본이 이 사건(부분 집합) 안에 있다"라는 주장 혹은 가설인 셈이다.

또한 그 후보 집단이 정말 실제로 발생한 표본을 포함할 가능성을 즉 그 가설이 진실일 가능성을 사건의 확률이라고 한다.

베이지안 확률론의 장점은 추가적인 정보가 발생하였을 때 이 추가 정보를 사용하여 기존에 가지고 있던 확률 즉, 어떤 가설에 대한 가능성을 더 올바른 방향으로 수정할 수 있다는 점이다.

추가적인 정보는 보통 사건(event)의 형태로 발생한다. 즉 "어떤 사건이 발생했다"는 말은 "진짜 표본이 포함된 새로운 후보 집합을 알게 되었다"는 의미이다.

범인 찾기의 예

예를 들어 살인 사건이 발생하였다고 가정하자. 이 사건을 담당한 형사는 전체 용의자 목록을 가지고 있으며 베이지안 확률론 관점에서 이 용의자 목록이 바로 표본 공간(sample space)가 된다. 현재 표본 공간은 20명의 용의자로 구성되어 있으며 이 중 남자가 12 명, 여자가 8 명이다.

담당 형사는 남자가 범인라고 생각한다. 이 때 "범인이 남자"라는 것은 확률론적 관점에서 남성인 용의자(표본)이 들어있는 표본 공간의 부분집합 즉, 사건(event)이 된다. 이를 사건 $A$ 라고 하자 따라서 형사가 관심을 가지는 것은 "범인이 남자"라는 사건 $A$ 의 확률 $P(A)$ 이다.

아무런 추가 정보가 없다면 범인이 남자일 확률 $P(A)$는 다음과 같다.

$$ P(A) = \dfrac{12}{12 + 8} = \dfrac{12}{20} = 0.6 $$

이 때 새로운 사건(event) $B$ 가 발생하였다고 하자. 바로 범인의 머리카락이 발견된 것이다! 발견된 범인의 머리카락에서 범인은 머리가 길다라는 사실을 알게되었다.

이 새로운 사건(event) $B$ 은 확률론적으로는 진짜 범인이 포함된 새로운 용의자 목록, 즉 머리카락이 긴 사람의 목록이라는 표본 공간의 새로운 부분 집합을 의미한다.

현재 표본 공간 즉, 전체 용의자 목록에는 머리가 긴 사람이 10 명, 머리가 짧은 사람이 10 명이 있다. 즉 사건 $B$에 대한 확률 $P(B)$는 다음과 같다.

$$ P(B) = \dfrac{10}{10 + 10} = \dfrac{10}{20} = 0.5 $$
  • 살인 사건 발생
  • 용의자는 20명
    • 남자 12명, 여자 8명
    • 머리가 긴 사람 10명, 머리가 짧은 사람 10명
  • 범인이 남자일 확률
    • 남자의 집합(사건, event) $A$에 범인(표본, sample)이 속해 있다는 사실의 진실성: $P(A) = 0.6$
  • 범인이 머리가 길 확률
    • 머리가 긴 사람의 집합(사건, event) $B$에 범인(표본, sample)이 속해 있다는 사실의 진실성: $P(B) = 0.5$

베이지안 확률론은 두 사건 $A$와 $B$의 관계를 알고 있다면 사건 $B$가 발생하였다는 사실로 부터 기존에 알고 있는 사건 $A$에 대한 확률 $P(A)$를 좀 더 정확한 확률로 바꿀 수 있는 방법을 알려준다.

결합 확률과 조건부 확률

이 때 우리에게 필요한 두 사건 $A$와 $B$의 관계는 사건 $A$와 $B$가 동시에 발생할 확률이다. 이를 결합 확률(joint probability)이라고 부르며 다음과 같이 표기한다.

$$ P(A \cap B) \text{ or } P(A, B) $$

또한 $B$가 일어남으로써 그 값이 바뀐, 사건 $A$에 대한 확률사건 $B$에 대한 사건 $A$의 조건부 확률(conditional probability)고 하며 다음과 같이 표기한다.

$$ P(A | B) $$

조건부 확률은 다음과 같이 계산된다.

$$ P(A|B) = \dfrac{P(A,B)}{P(B)} $$
  • 조건부 확률 $P(A|B)$
    • 사건 B가 발생한 경우의 사건 A의 확률
    • 표본이 이벤트 B에 속한다는 새로운 사실을 알게 되었을 때,
    • 이 표본이 사건 A에 속한다는 사실의 정확성(신뢰도)이 어떻게 변하는지를 알려준다.
  • 예를 들어, 범인 찾기 문제에서
    • $P(A)$: 범인이 남자일 확률
    • $P(B)$: 범인이 머리가 길 확률
    • $P(A|B)$: 범인이 머리가 길다는 사실을 알게 되었을 때, 달라진(갱신된) "범인이 남자일 확률"
  • 조건부 확률의 값
$$ P(A|B) = \dfrac{P(A,B)}{P(B)} $$

사건 $A$와 사건 $B$의 결합 확률의 값 $P(A,B)$은 기존의 사건 $A$의 확률 $P(A)$나 사건 $B$의 확률 $P(B)$와는 전혀 무관한 별계의 정보이다. 즉, 추가로 주어지지 않으면 안되는 정보인 것이다.

앞서 예를 들었던 범인 찾기의 경우에도 이미 주어진 정보 $P(A)$, $P(B)$와 관계없이 $P(A,B)$는 여러 가지 경우가 있을 수 있다.

한 예를 들어 10명의 남자 중 머리가 긴 사람이 다음과 같이 3명일 수도 있고

범인이 머리가 길다: $P(B)=0.5$ 범인이 머리가 길지 않다
범인이 남자다: $P(A)=0.6$ 3명 $\;\;\;P(A,B) = \dfrac{3}{20}$ 9명 12명
범인이 여자다 7명 1명 8명
10명 10명

또 다른 경우에는 10명의 남자 중 머리가 긴 사람이 다음과 같이 6명일 수도 있다.

범인이 머리가 길다: $P(B)=0.5$ 범인이 머리가 길지 않다
범인이 남자다: $P(A)=0.6$ 6명: $\;\;\;P(A,B) = \dfrac{6}{20}$ 6명 12명
범인이 여자다 4명 4명 8명
10명 10명

이 두가지 경우에 대해 조건부 확률을 구해본다.

만약 머리가 긴 남자가 3명이라면

$$ P(A|B) = \dfrac{P(A, B)}{P(B)} = \dfrac{3/20}{10/20} = \dfrac{3}{10} $$

이 된다. 원래 사건 $A$의 확률 $P(A)$가 0.6 즉 60% 였으므로 범인이 머리카락이 길다는 정보로 인해 남자가 범인일 확률은 절반으로 뚝 떨어졌다.

만약 머리가 긴 남자가 6명이라면

$$ P(A|B) = \dfrac{P(A, B)}{P(B)} = \dfrac{6/20}{10/20} = \dfrac{6}{10} $$

이 된다.

독립

만약 사건 $A$와 사건 $B$의 결합 확률의 값이 다음과 같은 관계가 성립하면 두 사건 $A$와 $B$는 서로 독립(independent)라고 한다.

$$ P(A,B) = P(A)P(B) $$

독립인 경우 조건부 확률과 원래의 확률이 같아짐을 알 수 있다. 즉, $B$ 라는 사건이 발생하든 말든 사건 $A$ 에는 전혀 영향을 주지 않는 다는 것이다.

$$ P(A|B) = \dfrac{P(A,B)}{P(B)} = \dfrac{P(A)P(B)}{P(B)} = P(A) $$