Softmax

각 class의 확률이, 총 합이 1이 되도록 변형해주는 Actvation Function.

$$f(\overrightarrow{x)}=\left[\begin{array}{c}⋮\\ \frac{e^{x_i}}{{\sum }_{k=1}^N{e}^{x_k}}\\ ⋮\end{array}\right]$$

for $k=1,\cdots ,N$

hardmax 방식과 달리 미분이 가능한 형태이며, exponential 함수를 사용하므로 score간의 그 차이를 exaggrate해주는 효과가 있어 모델이 좀 더 효과적으로 정답 class에 비중을 주게 할 수 있다.

또한, 위 방식은 어떠한 값들은 Probability Distribution형태로 변형해주므로 확률의 관점으로 해석 가능하게 만들어준다.