EZI 기술 블로그 JU

Model safety (reliability) 1) Model calibration : confidence output 값이 실제 확률과 일치하도록 교정 -> evaluation : Reliabilbity diagrams, ECE(Expected calibration error) -> Post-hoc calibration : temperature scaling / -> Model regularization : cross-entropy / label smoothing / focal loss ... 2) Uncertainty estimation 3) Out-of-distribution detection : 학습하지 않은 class의 데이터셋 4) Adversarial example detection : 의..

https://blog.est.ai/2022/02/%EC%83%9D%EC%84%B1-%EB%AA%A8%EB%8D%B8%EC%9D%98-%EC%83%88%EB%A1%9C%EC%9A%B4-%ED%9D%90%EB%A6%84-%ED%99%95%EC%82%B0-%EB%AA%A8%EB%8D%B8diffusion-model%EC%97%90-%EA%B4%80%ED%95%98%EC%97%AC/ 생성 모델의 새로운 흐름 확산 모델(Diffusion model)에 관하여 인공지능 확산(diffusion) 모델 글 blog.est.ai https://process-mining.tistory.com/182 Diffusion model 설명 (Diffusion model이란? Diffusion model 증명) Diffusion..

time series clustering 모듈 from tslearn.clustering import TimeSeriesKMeans km = TimeSeriesKMeans(n_clusters=7, verbose=False, random_state=15, n_jobs=-1) y_pred_kmeans = km.fit_predict(dataset) y_pred_dtw = TimeSeriesKMeans(n_clusters=7, metric="dtw", max_iter=5, n_init=2).fit(dataset)

실내측위와 조금이라도 관련있는 multimodal learning architecture에 대한 레퍼런스 다이어그램들을 수집 중이다. 본문의 예시들은 내가 현재 참고할 만한 구조들을 찾느라 도메인이 다르긴 하다. multimodal learning은 주로 sentiment analysis등 정성 분석 분야를 정량화하고 분석하는 과정에서 많이 보인다. 인간이 다양한 채널을 통해 정보를 받아들이고 감정을 느끼듯이 unimodal로는 분석이 어려운 분야에 적용하는 것이다. 여기서 채널은 multimodal learning 쪽에서는 modality로 주로 표현된다. 이를 실내 측위에 적용해 보려는데 현재 가진 의문은 이렇다. 1. 일반적으로 multimodal learning을 설명할 때 가장 쉽게는 데이터의 ..

1. Sequential API 가장 기본적인 위에서 차례대로 쌓아나가는 형태로 복잡하고 유기적인 신경망을 설계하는 데는 한계가 있음 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # Optionally, the first layer can receive an `input_shape` argument: model = Sequential() model.add(Dense(8, input_shape=(16,))) # Afterwards, we do automatic shape inference: model.add(Dense(4)) 2. Functional API 함수화 해서 모델을 구성하는 형태로 ..

Functional api에서는 inputs, outputs 변수명을 유지하는게 좋음 subclass의 Model call()함수와 내부 충돌

1) 활성화 함수가 relu계열일 때 다른 활성화 함수로 변경 2) clipnorm / clipvalue 사용해보기 One way to fix the exploding gradient is to use clipnorm or clipvalue for the optimizer Try something like this for the last two lines For clipnorm: opt = tf.keras.optimizers.Adam(clipnorm=1.0) For clipvalue: opt = tf.keras.optimizers.Adam(clipvalue=0.5) > Gradient clipping을 하는 이유 : gradient가 일정 threshold를 넘어가면 clipping을 적용하여 explo..

multimodal 변수가 많다는 의미가 아니라, 변수들의 차원이 달라야 한다. 1. Representation 1-1.joint representation 1-2. coordinated representation ex) Deep CCA (Deep Canonical Correlation Analysis) -> 서로 다른 데이터셋을 각각 축약한 뒤 concat https://seunghan96.github.io/mult/study-(multi)Multimodal-Learning%EC%86%8C%EA%B0%9C/ [multimodal] Multimodal Learning 소개 Multimodal Deep Learning에 대한 소개글 seunghan96.github.io