Conditional Probabilty(조건부 확률)

어떠한 사건

B

가 발생한 것을 알게 되었을 때, 또 다른 사건

A

에 대한 기존의 믿음 혹은 불확실성을 어떻게 업데이트 할 지. 단순히 말해

B

가 참일 때만의 사건

A

의 확률이다.

P (A ∣ B) = \frac{P ( A \cap B )}{P ( B )} only applies when P (B) > 0

$P (X = a, Y = b) \equiv P (X = a \cap Y = b) \sim P (a \cap b) = (a, b)$ 는 Joint Probability라고 하며, 두 사건이 동시에 일어나야 함을 의미한다.

사건 B가 일어난 것이 반드시 참이므로, 그렇다면 Joint Probability에서 B가 일어난 확률은 제외하고 계산하여도 된다. 즉, $P (B)$ 로 나누어 준다면, $B$ 가 일어난 것이 참일 때의 사건 $A$ 가 일어날 믿음의 정도 $P (A ∣ B)$ 가 된다.

혹은, B라는 경우 밖에 없을 때(B가 일어난 것이 참이므로, B가 참인 집합에서만 A를 따지는 것과 동일) $A$ 가 일어날 확률이 $P (A ∣ B)$ 이라고 본다면, 전체적인 관점에서는 $P (B)$ 을 곱해주어야 전체의 경우 확률에 맞게 된다.

서로 independent한 변수들에 대하여, 다음의 법칙들이 성립한다.

$P (x ∣ y) = P (x)$
$P (x, y) = P (x ∣ y) P (y) = P (x) P (y)$ : 곱의 법칙 즉, 서로 independent하다면 어떠한 사건이 일어난 경우에 대한 다른 사건의 믿음의 정도는 변하지 않는다.

Other Properties

Product Rule

P (a, b) = P (a ∣ b) P (b) = P (b ∣ a) P (a)

Chain Rule

∵ P (x_{1} ∣ x_{0}) \equiv P (x_{1})

P (x_{1}, x_{2}, \dots, x_{n - 1}, x_{n}) = P (x_{n} ∣ x_{1}, \dots, x_{n - 1}) P (x_{1}, \dots, x_{n - 1}) = i = 1 \prod n P (x_{i} ∣ x_{1}, \dots, x_{i - 1})

$x_{1}$ 이 일어 났을 때, 그 때에 대해 $x_{2}$ 가 일어날 확률, 그리고 $x_{1}, x_{2}$ 가 일어 났을 때 $x_{3}$ 이 일어날 확률...
을 반복한 것이 된다.

Posterior probability

사후 확률. 조건부 확률의 일종이기도 하며,

B

가 일어난 후

A

의 확률이 어떻게 될 지 관심을 둘 때를 말한다.

P (X = a ∣ Y = b) \sim P (a ∣ b) \equiv \frac{P ( a , b )}{P ( b )} = \frac{P ( b ∣ a ) P ( a )}{P ( b )}

이를 정리한 것을 Bayes' Theorem이라 한다.