Batch Normalization

mini-batch를 기준으로 묶어 Normalization하는 기법.

\overset{s_{i}}{^} = α_{i} \frac{s _{i} - μ _{i}}{σ _{i}^{2} + ϵ} + β_{i}

:when $μ_{i} = \frac{1}{∣ m ∣} s_{i} \in m \sum s_{i}$ , $σ_{i}^{2} = \frac{1}{∣ m ∣} s_{i} \in m \sum (s_{i} - μ_{i})^{2}$

$m$ 은 mini-batch, $i$ 는 $i$ 번째 Node임을 의미한다.
즉, $s_{i} = w_{i}^{⊤} z$ 를 통해 만들어지는 score이며, 해당 score에 대해 mini-batch 단위로 정규화를 진행한다.

하지만, RNN에서는 데이터가 순차적으로 들어오므로 batch 단위로 묶어 계산할 수 없다.