본문 바로가기

분류 전체보기

(284)
변분추론, Layer-wise Training과 E2E 비교에서 본 추가로 HSIC(힐베르트-슈미트 독립 기준, Hilbert-Schmidt Independence Criterion)와 nHSIC(정규화된 HSIC, normalized HSIC)는 둘 다 두 랜덤 변수 사이의 독립성을 측정하는 방법이지만, 중요한 차이점이 있습니다.HSIC (Hilbert-Schmidt Independence Criterion)정의: HSIC는 두 랜덤 변수 X와 Y 사이의 상관관계 또는 의존성을 측정하는 통계적 지표입니다. 이 지표는 커널 방법을 사용하여 정의되며, RKHS(재생 커널 힐베르트 공간)에서 두 변수 간의 교차 공분산 연산자의 힐베르트-슈미트 놈(Hilbert-Schmidt norm)을 계산하여 두 변수 간의 의존성을 나타냅니다.사용: HSIC는 고차원 데이터나 비선형 관계..
이코라부 仲直りシュークリーム 君のせいよ!いや私か?키미노 세이요! 이야 와타시카?너 때문이야! 아니 나때문인가? 心 ゴング響く코코로 곤구 히비쿠마음이 꾹 울려 仕事ばっか ちょっと拗ねた시고토밧카 춋토스네타일만 해서 좀 삐졌어 それが問題なんです!소레가 몬다이난데스그것이 문제입니다 「えー、じゃあ舞香ちゃんが悪いってこと?」「에- 쟈 마이카쨩과 와루잇테 코토?」「에- 그럼 마이카쨩이 잘못했단 거야?」 私は反省ナシです!와타시와 한세이 나시데스나는 반성 안함 입니다. ぷんぷんしている君は好きじゃない푼푼시테이루 키미와 스키쟈나이뾰루퉁하게 된 너는 좋아하지 않아 ハートグラデ 青が多くなる하-토 구라데 아오가 오오쿠나루하트 그라데이션 파랑이 많아져 はやく真っ赤に戻って하야쿠 맛카니 모돗테빨리 붉게 돌아와 だって 待ち受けでは笑顔の私たち닷테 마치 우케데와 에가오..
Fisher's Linear Discriminan An illustrative introduction to Fisher's Linear Discriminant - Thalles' blog (sthalles.github.io) An illustrative introduction to Fisher's Linear Discriminant - Thalles' blogIntroduction To deal with classification problems with 2 or more classes, most Machine Learning (ML) algorithms work the same way.  Usually, they apply some kind of transformation to the input data with the effect of reducin..
재현성을 위해 필요한 것 1) torch backends cudnn :torch.backends.cudnn.benchmark = True# torch.backends.cudnn.deterministic = True 물론 GPU에서 실행할 때 코드 스니펫의 각 설정이 PyTorch 모델의 실행 및 동작에 어떻게 영향을 미치는지 살펴봅시다. ### 1. 'torch.백엔드.cud.determin주의=True' - **그것이 하는 일**: 이 설정은 동일한 설정(동일한 입력 데이터, 동일한 모델 아키텍처, 동일한 파라미터 초기화)으로 모델을 실행할 때마다 정확히 동일한 결과를 얻을 수 있도록 보장한다. 이것은 모든 GPU 연산이 결정론적 알고리즘을 사용하도록 강제함으로써 달성된다. - **중요한 이유**: 재현성을 위해서는 매우 중요..
getattr in HNCT # This is a simple wrapper function for ConcatDataset class MyConcatDataset(ConcatDataset): def __init__(self, datasets): super(MyConcatDataset, self).__init__(datasets) self.train = datasets[0].train def set_scale(self, idx_scale): for d in self.datasets: if hasattr(d, 'set_scale'): d.set_scale(idx_scale) class Data: def __init__(self, args): self.loader_train = None if not args.test_only: data..
군론 군(Group) : 임의의 두 원소를 조합해 제 3의 원소를 만드는 연산을 갖춘 원소의 집합. 집합과 연산이 군을 정의하기 위해서는, 즉 특정 연산이 group by composition of maps를 만족(satisfy)하기 위해서는 아래의 네 가지 주요 성질 또는 군 공리를 만족해야 한다: 1. Closure : 집합의 임의의 두 원소 a와 b에 대하여, 종종 a ⋅ b 또는 ab로 표기되는 연산의 결과도 집합의 원소이어야 한다. 이는 집합의 원소에 군 연산을 적용하면 집합 밖의 원소가 절대로 생성되지 않는다는 것을 의미한다. 2. Associety : 집합 내의 임의의 세 원소 a, b, c에 대하여, 연산의 결과는 원소들의 그룹화에 의존해서는 안 된다. 즉, 방정식 (a ⋅ b) ⋅ c = a ..
n-gram swinT swin-T의 attn_mask는... [DNN] Swin Transformer 리뷰 및 구현 (ICCV 2021) (tistory.com) [DNN] Swin Transformer 리뷰 및 구현 (ICCV 2021) 안녕하세요 pulluper 입니다. 이번 포스팅에서는 ICCV2021 발표 후 많은 비전 모델의 백본으로 사용되고 있는 swin transformer 논문에 대하여 알아보겠습니다. https://arxiv.org/abs/2103.14030 Swin Transformer: Hierar csm-kr.tistory.com example = torch.tensor([[1,3,5],[1,4,7], [1,5,9]]) 일 때, attn_mask = mask_windows.unsqueeze(1) - ma..
PCA 공분산행렬의 고유값과 고유벡터를 찾는 것 == 데이터의 주성분을 찾는 것. 고유벡터는 행렬이 어떤 방향으로 힘을 가하는지 표현하며, 이는 곧 데이터가 어떤 방향으로 분산이 큰지 구하는 것과 같기 대문.