변분추론, Layer-wise Training과 E2E 비교에서 본

 

 

추가로 HSIC(힐베르트-슈미트 독립 기준, Hilbert-Schmidt Independence Criterion)와 nHSIC(정규화된 HSIC, normalized HSIC)는 둘 다 두 랜덤 변수 사이의 독립성을 측정하는 방법이지만, 중요한 차이점이 있습니다.

HSIC (Hilbert-Schmidt Independence Criterion)

• 정의: HSIC는 두 랜덤 변수 X와 Y 사이의 상관관계 또는 의존성을 측정하는 통계적 지표입니다. 이 지표는 커널 방법을 사용하여 정의되며, RKHS(재생 커널 힐베르트 공간)에서 두 변수 간의 교차 공분산 연산자의 힐베르트-슈미트 놈(Hilbert-Schmidt norm)을 계산하여 두 변수 간의 의존성을 나타냅니다.
• 사용: HSIC는 고차원 데이터나 비선형 관계를 포착하는 데 유용합니다. 일반적으로 HSIC 값이 클수록 두 변수 간의 독립성이 낮음을 나타냅니다.

nHSIC (normalized HSIC)

• 정의: nHSIC는 HSIC를 정규화한 버전입니다. HSIC 자체는 변수의 크기나 스케일에 민감할 수 있기 때문에, nHSIC는 이러한 문제를 해결하기 위해 HSIC를 정규화한 값입니다. nHSIC는 HSIC를 특정 기준으로 나누거나, 변수를 정규화하여 비교할 수 있도록 만든 지표입니다.
• 정규화 목적: 정규화는 비교 가능한 값으로 만들어, 다른 데이터셋이나 모델 간에 HSIC 값을 비교할 때 유용하게 사용됩니다. nHSIC는 아래의 분포를 기반으로 한 상호 정보의 변형으로 볼 수 있습니다.
• 차이점: nHSIC는 HSIC와 달리 데이터의 크기나 범위에 따른 영향을 줄이고, 더 안정적인 의존성 측정을 가능하게 합니다.

요약

• HSIC는 두 변수 사이의 상관관계를 측정하지만, 값이 절대적이지 않으며 데이터의 스케일에 영향을 받을 수 있습니다.
• nHSIC는 HSIC를 정규화하여 값이 더 비교 가능하고 안정적인 지표가 되도록 합니다. 이는 다양한 조건에서 두 변수 간의 의존성을 비교할 때 더 유용할 수 있습니다.

정규화된 버전인 nHSIC는 특히 여러 레이어의 학습 과정을 비교하거나, 서로 다른 모델을 비교할 때 유용하며, 이는 데이터나 모델의 스케일 차이로 인한 영향을 줄이기 때문에 더욱 정확한 비교를 가능하게 합니다.