Notice
Recent Posts
Recent Comments
Tags
- AR Kit
- Data-driven
- indoor positioning
- multimodal learning
- data augmentation
- model reliability
- time series clustering
- GitHub
- model calibration
- Time Series Forecasting
- confidence score
- keras
- 시계열
- odometry
- time series
- regression model
- GRU
- LSTM
- 시계열 클러스터링
- multi loss
- indoor navigation
- pytorch
- cudnn
- stray scanner
- tslearn
- strayrobots
- 실내측위
- physics-based
- LiDAR
- time series data
- Today
- Total
EZI 기술 블로그 JU
(정리 중) Attention is all you need 본문



* Positional encoding
1. 주기함수일 것 (exploding 방지 -> 포지션값이 실제 의미를 나타내는 값보다 영향이 커지지 않도록)
2. 포지션(x, timestamp)에 따라 다른 값(y)을 가질 것
-> 특히 sin cos의 경우 서로 선형 관계로 표현할 수 있다는 장점

반응형
'Paper review' 카테고리의 다른 글
| On Calibration of Modern Neural Networks (0) | 2023.03.15 |
|---|---|
| Time Series Data Augmentation for Deep Learning: A Survey (0) | 2023.03.14 |