본문 바로가기

미연시리뷰

(30)
재현성을 위해 필요한 것 1) torch backends cudnn :torch.backends.cudnn.benchmark = True# torch.backends.cudnn.deterministic = True 물론 GPU에서 실행할 때 코드 스니펫의 각 설정이 PyTorch 모델의 실행 및 동작에 어떻게 영향을 미치는지 살펴봅시다. ### 1. 'torch.백엔드.cud.determin주의=True' - **그것이 하는 일**: 이 설정은 동일한 설정(동일한 입력 데이터, 동일한 모델 아키텍처, 동일한 파라미터 초기화)으로 모델을 실행할 때마다 정확히 동일한 결과를 얻을 수 있도록 보장한다. 이것은 모든 GPU 연산이 결정론적 알고리즘을 사용하도록 강제함으로써 달성된다. - **중요한 이유**: 재현성을 위해서는 매우 중요..
getattr in HNCT # This is a simple wrapper function for ConcatDataset class MyConcatDataset(ConcatDataset): def __init__(self, datasets): super(MyConcatDataset, self).__init__(datasets) self.train = datasets[0].train def set_scale(self, idx_scale): for d in self.datasets: if hasattr(d, 'set_scale'): d.set_scale(idx_scale) class Data: def __init__(self, args): self.loader_train = None if not args.test_only: data..
[ViT-PE] RPE import torch import torch.nn as nn from pdb import set_trace as t class RelativePosition(nn.Module): # num_units: C//head = 2, max_relative_position = 2 def __init__(self, num_units, max_relative_position): super().__init__() self.num_units = num_units self.max_relative_position = max_relative_position # shape : [5, 6] = nn.Parameter(torch.Tensor(2*2+1, C//head)) self.embeddings_table = nn.Param..
[Optical flow] GMFlow attn mask를 생성하는 [4, 768].unsqueeze(0), unsqueeze[2]의 설명
[통계 정리] 확통 사이트 및 개념 8.6 다변수정규분포 — 데이터 사이언스 스쿨 (datascienceschool.net) 8.6 다변수정규분포 — 데이터 사이언스 스쿨 .ipynb .pdf to have style consistency --> datascienceschool.net [머신러닝 순한맛] 다변량 정규분포(Multivariate Gaussian Distribution) in 이상 탐지(Anomaly Detection) (tistory.com) [머신러닝 순한맛] 다변량 정규분포(Multivariate Gaussian Distribution) in 이상 탐지(Anomaly Detection) 혁신을 할 때는 모든 사람들이 당신을 미쳤다고 할 테니, 그들 말에 준비가 되어 있어야 한다. - 래리 앨리슨 (Oracle ceo) -..
[알고리즘] P & NP https://gazelle-and-cs.tistory.com/64 P vs NP 쉽게 이해하기 컴퓨터 과학에는 유명한 난제가 있습니다. 바로 P vs NP입니다. 컴퓨터 과학을 공부하다 보면 언젠간 한 번은 반드시 접하게 되는 흥미롭고도 신기한 문제인데요. 이번 포스트에서는 이에 대해서 gazelle-and-cs.tistory.com 결정문제 - 입력이 T인지, F인지만 따짐 예) 어떤 그래프와 가중치, k가 주어졌을 때, 크기가 k보다 작은 스패닝트리가 존재?? NP: 여기서 기인함. 결정론적 알고리즘(이하 결) : 분신술이 없는 모험가가 보물을 찾는다. 일일이 depth를 올리며 찾아다녀야 하기에, 무언가를 선택해야 할 때, 그 중 하나를 선택해야 다음으로 갈 수 있음. 즉, 무조건 하나의 선택만 ..
[Diffusion] 참고용링크 [논문] VAE(Auto-Encoding Variational Bayes) 직관적 이해 - Taeu [논문] VAE(Auto-Encoding Variational Bayes) 직관적 이해 VAE : Variational Auto-Encoder를 직관적으로 이해하기! taeu.github.io Diffusion Model 입문하기 (velog.io) Diffusion Model 입문하기 이 글은 딥러닝 감수성은 있지만 디퓨전 감수성이 부족한 사람들을 위해 쓰이는 글컴퓨터 비전 분야의 직관 기반 연구 논문은 잘 읽을 수 있는데, 디퓨전의 경우 이론이 너무 어려워서 어떻게 velog.io [Paper Review] Denoising Diffusion Probabilistic Models - YouTube 팔자..
Optical Flow 참조 논문 1) 2012.00452.pdf (arxiv.org) [Counting People by Estimating People Flows] 1911.10782.pdf (arxiv.org) 2) 1611.00850.pdf (arxiv.org) [Optical Flow Estimation using a Spatial Pyramid Network] 3) 1811.10452.pdf (arxiv.org) [Context-Aware Crowd Counting] 4) 1709.02371.pdf (arxiv.org) [PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume] 기초가 되는 Counting People by Estimating P..