EZI 기술 블로그 JU

(정리 중) Attention is all you need 본문

Paper review

(정리 중) Attention is all you need

eziju 2023. 3. 11. 22:48

* Positional encoding

1. 주기함수일 것 (exploding 방지 -> 포지션값이 실제 의미를 나타내는 값보다 영향이 커지지 않도록)

2. 포지션(x, timestamp)에 따라 다른 값(y)을 가질 것

    -> 특히 sin cos의 경우 서로 선형 관계로 표현할 수 있다는 장점

 

반응형