Ch4. 확률이론

확률의 정의
집합이론과 확률의 개념
확률법칙
베이즈정리

1. 확률의 정의

일반적으로 확률( probability )이란 어떤 상황이 발생할 가능성이라 정의한다
확률이론에서는 앞으로 일어날 상황을 사건 ( event ) 라 하므로, 확률은 어떤 사건이 일어날 가능성이다.
그러나 확률을 단순히 가능성으로 정의하는 것은 확률이 어떻게 측정되는지를 제시하지 못하기 때문에 학문적인 정의로는 미흡
과학적으로 확률을 정의하기 위해 상대빈도정의와 동등발생정의 두 방법을 사용

상대빈도정의 ( relative frequency definition )

어떤 사건이 나타날 확률은 실험을 무한대에 가깝게 계속적으로 시행했을 때,
전체 시행횟수에서 그 사건이 나타나는 빈도수를 상대적으로 나타낸 것
- ex. 동전의 앞면이 나올 확률이 1/2이라는 것은 동전을 수없이 많이 던졌을 때 전체 시행횟수 중에서 앞면이 나타나는 빈도수가 전체 시행횟수의 1/2에 접근한다는 의미이다.

동등발생정의 ( equally likely definition , bayesian definition )

상대빈도정의에 의해 확률을 정의하면 실험을 무한에 가깝게 시행해야하는 문제 발생 (현실성 문제)
어떤 실험이나 관찰의 결과로 나타날 수 있는 모든 경우들이 각각 동일한 가능성을 가지고 발생할 것이라는 가정하에, 특정사건이 일어날 확률을 정의한 것
- ex. 동전의 앞면과 뒷면이 나올 확률은 동일할 것이라는 논리적 추런에 근거를 둬 앞면이 나올 확률이 1/2 이다.
동등발생정의에 입각한 확률은 전체의 경우 중에서 특정 사건이 차지하는 구성비율( proportion )을 의미 ( 확률 = 구성비율 )

2. 집합이론과 확률의 개념

집합이론

확률이론을 쉽게 설명하기 위해서는 집합이론의 용어와 부호 사용하는 것이 편리
집합 ( set ) 이란 개체 또는 원소 ( element )의 모임이라 정의
원소는 { ... } 속에 넣는 것이 관례
- ex. A = { 남자, 여자 }, B = { 10대, 20대, 30대, ... }

1. 여집합

$A^C$ = { 전체집합 중에서 집합 A 에 포함되지 않는 원소들 } <img src="https://upload.wikimedia.org/wikipedia/commons/thumb/b/b9/SetComplement.svg/400px-SetComplement.svg.png", width=200, height=200>

2. 합집합

$A \cup B$ = { 집합 A 또는 집합 B에 속하는 원소 } <img src="https://upload.wikimedia.org/wikipedia/commons/thumb/3/32/SetUnion.svg/500px-SetUnion.svg.png", width=200, height=200>

3. 교집합

$A \cap B$ = { 집합 A와 B의 공통 원소 } <img src="https://upload.wikimedia.org/wikipedia/commons/thumb/c/cb/SetIntersection.svg/500px-SetIntersection.svg.png", width=200, height=200>

합집합의 계산

$ A \cup B = A + B - A \cap B $
- if) 집합 $A$와 $B$가 서로 배타적( mutually exclusive )일 때 ( $A \cap B = \emptyset$ )
- $ A \cup B = A + B $

집합이론과 확률이론

집합 ( set ) = 실험이나 관찰에서 얻은 결과, 사건 ( event )
원소 ( element ) = 단일 사건 ( simple event )
전체집합 ( universal set ) = 모든 사건의 모임, 표본공간 ( sample space )

3. 확률법칙

덧셈법칙

집합이론에서 합집합의 개념
$ P(A \cup B) = P(A) + P(B) - P(A \cap B) $
- if) A사건과 B사건이 서로 배타적일 때 ( 서로 독립일 때 )
- $ P(A \cup B) = P(A) + P(B) $

조건부확률

사건 B가 발생했다는 조건하에서 사건 A가 발생할 확률 <img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/c7f0ff7bcd50dd11514f9f02b1273dab360a4cef", width=150, height=150>
ex. 전체학생 10,000명 중에서 여학생이 3,500명이다. 2,000명이 4학년이며, 이 중 여학생은 800명이다. 이 때 여학생 중에서 4학년인 학생의 구성은 어떻게 되는가? 반대로 4학년 중에서 여학생의 구성은 어떻게 되는가?
조건부확률은 표본공간이 전체사건이 되는 것이 아니라, 새로운 조건이 부여되어 관심대상이 새로운 표본공간이 되는 경우에 쓰이는 개념이다.

곱셈법칙

집합이론에서 교집합의 개념
$ P(A \cap B) = P(B) \bullet P(A|B) = P(A) \bullet P(B|A) $
- 사건 A와 B가 동시에 일어날 확률은
- 사건 A가 일어날 확률과 사건 A가 일어난 다음 사건 B가 일어날 확률을 곱한 것이란 의미

독립사건과 종속사건

1. 독립사건 ( independent event )

동전던지기와 같이 이전 사건이 다음 사건이 일어날 확률에 아무 영향을 주지 않는 경우
복원추출 (표본공간 변화 없음)
정의 <img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/c3fee81720676c2887e6304414377aecb51e5579", width=150, height=150>
증명
(사건 A가 사건 B에 아무런 영향을 미치지 않으므로( 독립이므로 ), 사건 A가 일어난 다음 B가 일어날 확률인 조건부확률은 그냥 사건 B가 일어날 확률과 같다) <img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/329a9d99c953f0927c388d880745365adf64a0a9", width=300, height=150>

2. 종속사건 ( dependent event )

조건부확률처럼 한 사건의 발생이 다음에 발생할 사건에 영향을 주는 경우
비복원추출 (표본공간 변함)

4. 베이즈정리 ( Bayes' theorem )

사전에 알고 있는 정보에 기준을 두고, 어떤 사건이 일어나게 될 확률을 계산하는 이론 <img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/2b35567a9a29e146c9426f9b258892d1df6bb789", width=200, height=200>
Extended form <img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/935f9eb7f8d17e5c166ef2e8bd6a94366b32fa7c", width=200, height=200>

연습문제

비가 많이 올 확률 $P(A) = 0.4$, 비가 중간 정도 올 확률 $P(B) = 0.3$, 비가 아주 적게 올 확률 $P(C) = 0.3$ 이고,
비가 많이 올 때 풍년이 될 확률 $P(K|A) = 0.6$, 흉년이 될 확률 $P(K^C|A) = 0.4$,
비가 중간 정도 올 떄 풍년이 될 확률 $P(K|B) = 0.5$, 흉년이 될 확률 $P(K^C|B) = 0.5$,
비가 아주 적게 왔을 때 풍년이 될 확률 $P(K|C) = 0.2$, 흉년이 될 확률 $P(K^C|C) = 0.8$ 이라 한다.
그렇다면 풍년이 됐는데 비가 아주 적게 왔을 가능성은 얼마인가?

$$ P(C|K)=\frac { P(K\cap C) }{ P(K) } \\ = \frac { P(K\cap C) }{ P(K\cap A)+P(K\cap B)+P(K\cap C) } \\ = \frac { P(K|C)P(C) }{ P(K|A)P(A)+P(K|B)P(B)+P(K|C)P(C) } \\ = \frac { 0.2\cdot 0.3 }{ 0.6\cdot 0.4+0.5\cdot 0.3+0.2\cdot 0.3 } \\ = \frac {0.06}{0.45} = 0.133 $$