220822
Visual Transformer (tistory.com)
Visual Transformer
https://kmhana.tistory.com/28?category=838584 [논문요약] Transformer 등장 - Attention Is All You Need(2017) ① *크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1706.03762.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 평가
jwgdkmj.tistory.com
220831
Attention과 Transformer (tistory.com)
Attention과 Transformer
https://velog.io/@idj7183/Attention-TransformerSelf-Attention Attention, Transformer(Self-Attention) Attention, Transformer(Self-Attention) velog.io Attention : Decoder에서 출력 단어를 예측하는 시점마다 Encoder에서의 전체 입력 문장
jwgdkmj.tistory.com
220908
Vision Transformer(22.03.03 재포스팅) (tistory.com)
Vision Transformer(22.03.03 재포스팅)
쉽게 이해하는 ViT(Vision Transformer) 논문 리뷰 | An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (tistory.com) 쉽게 이해하는 ViT(Vision Transformer) 논문 리뷰 | An Image is Worth 16x16 Words: Transformers for
jwgdkmj.tistory.com
220919
ViT 코드
https://www.kaggle.com/code/utkarshsaxenadn/vit-vision-transformer-in-keras-tensorflow ViT(Vision Transformer) in Keras & Tensorflow Explore and run machine learning code with Kaggle Notebooks | Using data from No attached data sources www.kaggle.com 에
jwgdkmj.tistory.com
ViT
CSwin
이후, x1와 x2를 cat한 [2. 3136, 64]를 proj, norm2 진행
MLP후 다시 [CSwinTF]로 내보내고, [2, 3136, 64]
mean을 하면 [2, 64]
Swin
CW
'애니리뷰' 카테고리의 다른 글
| n-gram swinT (0) | 2024.01.01 |
|---|---|
| TF for Detection / SS (0) | 2023.10.31 |
| [Optical flow] 기타 & SSL, COOKBOOK에 대한 내용은 여기에 (0) | 2023.05.03 |
| [chatGPT] 파이썬, LSTM 혹은 numpy, torch 질답 모음 (0) | 2023.03.22 |
| 컴퓨터학현장실습 대비 Prometheus (0) | 2022.11.21 |
