Softmax Loss

Softmax를 이용한 classifier에 대한 Loss를 측정하는 방법.

L = - lo g (\frac{e ^{x_{y_{i}}}}{j \sum e ^{x_{j}}})

: 즉, 어떠한 label $y_{i}$ 에 대한 Softmax에 대하여 $- lo g$ 를 취한 것인데, 정답에 대한 확률이 낮아질수록 Loss가 커지고, 커질수록 Loss가 작아지게 된다.

보통 classification 문제에서 Cross Entropy Loss에 Softmax를 결합한 것이라 할 수 있다.
score가 The Uniform Distribution으로 random initialization되 있다고 기대한다면, 초기 Loss는 $- lo g (1/ c) = ￦ l o g (c)$ 라고 기대할 수 있다.