본문 바로가기

EZI 기술 블로그 JU

검색하기
EZI 기술 블로그 JU
프로필사진 eziju

  • 전체보기 (22)
    • Domain (2)
      • 실내측위 (2)
      • 센서 (0)
    • Data (1)
      • 방법론 (1)
      • 전처리 (0)
      • 시계열 (0)
      • 자연어 (0)
      • 이미지 (0)
    • Modeling (10)
      • 기법 (2)
      • Activation function (0)
      • loss function (2)
      • machine learning (0)
      • deep learning (3)
    • Paper review (3)
    • Programming (3)
      • Environment (0)
      • Python (2)
      • Github (1)
    • ETC (2)
    • Daily (0)
Guestbook
Notice
  • 정리 중인 블로그입니다
Recent Posts
Recent Comments
Tags
  • AR Kit
  • stray scanner
  • Data-driven
  • model reliability
  • multi loss
  • indoor navigation
  • time series
  • indoor positioning
  • 실내측위
  • multimodal learning
  • strayrobots
  • Time Series Forecasting
  • pytorch
  • LSTM
  • model calibration
  • regression model
  • data augmentation
  • keras
  • odometry
  • cudnn
  • time series data
  • physics-based
  • time series clustering
  • GitHub
  • confidence score
  • tslearn
  • LiDAR
  • 시계열
  • GRU
  • 시계열 클러스터링
more
Today
Total
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록Transformer (1)

EZI 기술 블로그 JU

(정리 중) Attention is all you need

* Positional encoding 1. 주기함수일 것 (exploding 방지 -> 포지션값이 실제 의미를 나타내는 값보다 영향이 커지지 않도록) 2. 포지션(x, timestamp)에 따라 다른 값(y)을 가질 것 -> 특히 sin cos의 경우 서로 선형 관계로 표현할 수 있다는 장점

Paper review 2023. 3. 11. 22:48
이전 Prev 1 Next 다음

Blog is powered by kakao / Designed by Tistory

티스토리툴바