본문 바로가기

버츄얼유튜버

(59)
Vision Transformer(22.03.03 재포스팅) 쉽게 이해하는 ViT(Vision Transformer) 논문 리뷰 | An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (tistory.com) 쉽게 이해하는 ViT(Vision Transformer) 논문 리뷰 | An Image is Worth 16x16 Words: Transformers for Image Recognition at ViT(Vision Transformer) 논문 리뷰를 해보겠습니다. Transformer는 NLP 테스크에서 Bert, GPT-3 등 기반 알고리즘으로 유명하죠. 이런 Transformer 알고리즘을 Vision 분야에서 사용합니다. 시작하기 앞서서 Tra.. hipgyung.tist..
Attention과 Transformer https://velog.io/@idj7183/Attention-TransformerSelf-Attention Attention, Transformer(Self-Attention) Attention, Transformer(Self-Attention) velog.io Attention : Decoder에서 출력 단어를 예측하는 시점마다 Encoder에서의 전체 입력 문장을 다시 한 번 참고4 기본 계산(메커니즘) Generalized Dot Product : Dot Product 사이에 특정행렬(여기선 Wa)를 추가시킴. 이 Wa는 학습 가능한 행렬. Dot Product와 General Product의 연산 결과는 Scalar이기에, Wa의 형태는 (Hidden State Vector Dimension)..
Generative Models 실제 코드 https://jwgdkmj.tistory.com/216 GAN의 G와 D 객체 전체코드 https://github.com/jwgdmkj/jupiterColab/blob/master/GANProduction_1213.ipynb 전처리 #Gan With Pytorch import torch import torchvision import torch.nn as nn import torch.nn.functional as F f.. jwgdkmj.tistory.com 참조 https://taeyoung96.github.io/cs231n/CS231n_13/ CS231n 13강 요약 Unsupervised Learning과 Generative Models에 대해서 알아보자! taeyoung96.github..
Visualizing and Understanding https://taeyoung96.github.io/cs231n/CS231n_12/ CS231n 12강 요약 CNN Layer들의 Data를 시각화 하는 방법에 대해 알아보자! taeyoung96.github.io https://memesoo99.tistory.com/37 cs231n - 12강 - Visualizing and Understanding *본 글은 cs231n 12강의 내용을 정리 요악한 글입니다. 오늘은 ConvNet내부에서 어떤 일들이 벌어지는지 예쁘고ㅎㅎ 다양한 시각자료를 활용해 알아보겠습니다. CNN이 비난 아닌 비난(?)을 받는 가장 memesoo99.tistory.com 왜 Visualizingd을 해야 하는가? 블랙박스식을 탈피해야 한다! 딥러닝이 잘 작동되고 있음을 증명해야 ..
Detection & Segmentation https://taeyoung96.github.io/cs231n/CS231n_11/ https://lsjsj92.tistory.com/416 1) Sementic Segmentation : 이미지의 픽셀이 어느 클래스에 속하는가? 이는, 미리 클래스의 수와 종류를 정해야 한다. 근데, 위의 소를 보면 알 수 있듯, 개별 객체는 구별되지 않는다. 이러한 Sematinc Segmentation의 구현에는, Sliding Window 기법이 있다. atch를 만들고, 전체 영역을 모두 돌면서, 각 픽셀이 어느 카테고리에 들어갈지 찾아내는 것이다. 이는 연산량이 매우 많다는 단점이 존재. 또한, 설령 다른 영역(Patch)더라도, 인접해있다면 그 특징을 공유할 터인데, 이건 그게 안됨. 따라서, 다음으로 Ful..
RNN & LSTM [CS231n 정리] 10. Recurrent Neural Networks (velog.io) [CS231n 정리] 10. Recurrent Neural Networks 이 글은 단지 CS231n를 공부하고 정리하기 위한 글입니다. velog.io cs231n 10강 정리 - Recurrent Neural Networks (velog.io) cs231n 10강 정리 - Recurrent Neural Networks CS231n 10강강의 슬라이드one to oneone to manymany to onemany to manymany to manyMachine Learning 관점에서 생각해보면 모델이 다양한 입력을 처리할 수 있도록 유연해질 필요가 있습니다. 그런 관점에서 RNN은 velog.io RNN에..
여러 CNN 아키텍처(LeNet, GoogleNet, Alexnet, VGG, ResNet) 사전에 보면 좋은 것 : 마리나가 숙청 도중에 들고 나왔다는 CNN공부자료 (tistory.com) 마리나가 숙청 도중에 들고 나왔다는 CNN공부자료 https://89douner.tistory.com/57 3. CNN(Convolution Neural Network)는 어떤 구조인가요? 안녕하세요~ 이번글에서는 Convolution Neural Network(CNN)의 기본구조에 대해서 알아보도록 할거에요. CNN은 기본적으.. jwgdkmj.tistory.com CNN의 컨볼루션 레이어는, 무작위 필터를 생성한 다음, 이미지를 훑으면서 그 필터와 유사한 특징을 지닌 부분을 찾아내는 것. 이를 통해 edge나 기타 feature을 찾아낼 수 있다. 1. LeNet [Deep Learning, CNN, ..
Regularization 참조글 - https://say-young.tistory.com/entry/CS231n-Lecture-7-Regularization?category=923651 CS231n - Lecture 7 (Regularization) CS231n Lecture7 - Training Neural NetworksⅡ의 후반부를 듣고, 동아리 세미나 수강 후 정리한 내용입니다. 오류를 발견하시면 댓글로 말씀해주세요. CS231n Convolutional Neural Networks for Visual Recognit.. say-young.tistory.com Optimization은, 학습을 어떻게 효율적으로 진행할 것인가(local minima에 빠지지 않게 하기, 학습의 step을 최적화하기 등등.... 말그대로 o..