Law of Total Probability

어떠한 Sample Space

Ω

를 disjoint한 subsets로 나누어 놨을 때(=Partioning) 성립할 수 있는 Conditional Probabilty을 이용한 법칙.

Partioning?:

어떠한 Sample Space

Ω

를 disjoint한 subsets로 나누는 것.

이 때 그 subsets의 전체 합은 Sample Space와 동일해야 한다(=Completeness). 즉,

i = 1 ⋃ n B_{i} = Ω

위 사진은 $B$ 라는 subsets들로 나눈 것이며, 서로 disjoint하고 completeness를 만족한다.

Law of Total probability

그렇다면, 위 그림에 대하여 다음의 식이 성립한다.

P (A) = P (A \cap B_{1}) + P (A \cap B_{2}) + \dots + P (A \cap B_{n})

= P (A ∣ B_{1}) P (B_{1}) + P (A ∣ B_{2}) P (B_{2}) + \dots + P (A ∣ B_{n}) P (B_{n})

P (A) = i = 1 \sum n P (A \cap B_{i}) = i = 1 \sum n P (A ∣ B_{i}) P (B_{i})

이는 복잡한 문제를 쪼개어 해결하는 데 유용하다.

Disease Testing: how many false positive when a few positive?

만약 1%의 사람만이 질병에 걸렸지만, 검사기가 95%의 정확도를 가졌다. 만약 검사가 양성으로 나왔을 때, 실제로 이 병에 걸렸을 확률( $P (D ∣ T)$ , $D$ 는 질병, $T$ 는 검사 결과가 양성)은 어떻게 되는가?

Initial Condition:

$P (D) = 0.01, P (D^{c}) = 0.99$
정확도가 95%이므로, True Positive와 True Negative 모두 0.95이다.
- $P (T ∣ D) = 0.95$
- $P (T^{c} ∣ D^{c}) = 0.95$
- $P (T ∣ D^{c}) = 0.05$ : false positive, 병이 없는데도 양성이라 판별할 확률이 된다. 이는 확률의 Axiom2에서 기인한다.

Find:

P (D ∣ T) = \frac{P ( T ∣ D ) P ( D )}{P ( T )}

$P (T ∣ D) \times P (D) = 0.95 \times 0.01 = 0.0095$
Law of Total Probability에 의해 $P (T) = P (T ∣ D) P (D) + P (T ∣ D^{c}) P (D^{c}) = 0.0095 + 0.0495 = 0.059$

계산하면, $P (D ∣ T) \approx 0.161$ 이라는 좋지 못한 정확도를 가진다. 이는 Confusion Matrix의 Precision과 동일한데, 단순히 Postivive라고 많이 예측하면 Recall이 상승하게 되지만, 동시에 False Positive의 증가로 Precision은 감소하게 된다.

Simpson's Paradox

어떠한 조건부에서 성립하는 대소 관계가, 무조건 부로 보았을 때는 성립하지 않을 수도 있다는 이론.

예를 들어, $P (A ∣ B, C) > P (A ∣ B^{c}, C)$ , $P (A ∣ B, C^{c}) > P (A ∣ B^{c}, C^{c})$ 이 성립할 때 $P (A ∣ B) < P (A ∣ B^{c})$ 의 결과일 수도 있는 것이다.

여기서 $C$ 는 Confouder(교란변수)라고 하며, 이 조건을 통해 부분과 전체를 혼동하면 안 된다.

proof

$P (A ∣ B) = P (A ∣ B, C) P (C ∣ B) + P (A ∣ B, C^{c}) P (C^{c} ∣ B)$
...(1)가 전체 확률의 법칙에 의해 성립한다.

이 때, $P (C ∣ B)$ 와 $P (C^{c} ∣ B)$ 는 Prior로 가중치의 역할을 한다. 이 둘의 값의 대소 관계는 확인되지 않았으므로, $P (A ∣ B, C) > P (A ∣ B^{c}, C)$ , $P (A ∣ B, C^{c}) > P (A ∣ B^{c}, C^{c})$ 라고 해도 $P (A ∣ B) > P (A ∣ B^{c})$ 라 단정할 수 없다.

(1)은 다음에 의해 유도 된다.

$P (A ∣ B) = \frac{P ( A , B )}{P ( B )}$
$P (A, B) = P (A, B, C) + P (A, B, C^{c}) = P (A ∣ B, C) P (B, C) + P (A ∣ B, C^{c}) P (B, C^{c})$ : 전체 확률의 법칙
- 양변에 $P (B)$ 를 곱하면 $P (A ∣ B) = P (A ∣ B, C) P (C ∣ B) + P (A ∣ B, C^{c}) P (C^{c} ∣ B)$ 가 성립한다.