Embedding

고차원의 데이터를 저차원의 공간에 매핑하여 vector 형태로 표현하는 방법.

y = i \sum v_{i} ϕ (x ∣ w_{i})

:when $ϕ$ is basis function for dimension reduction. ++ (test)

이는 $x$ 에 대해서는 Non-linear function이지만, $ϕ$ 에 대해서는 Linear function으로 변한다. 즉, $ϕ$ 까지의 hidden layer 부분을 embedding이라고 하면, 그 위의 layer 들은 linear classifier 등으로 변하는 방식이다.

이 때, 그 가중치 $w_{i}$ 는 Deep Learning에 의해 end-to-end 방식으로 학습되는 basis function의 parameter이다.

basis function으로는 Sigmoid 등 다양한 Non-linear functon이 올 수 있으며, demension reduction을 수행하는 함수여야 한다.