논문

5. A Simple Framework for Contrastive Learning of Visual Representations

정일균 2024. 3. 22. 14:34

고급기계학습 2주차 4번째 논문인 A Simple Framework for Contrastive Learning of Visual Representations에 대해서 리뷰하고자 한다... 너무 많다 봐야할 논문이...ㅠ

 

이 논문은 SimCLR라는 시각적 표현 학습을 위한 단순한 프레임워크를 제안합니다. SimCLR는 특수한 아키텍처나 메모리 뱅크(memory bank) 없이 최근 제안된 대조적 자기지도 학습 알고리즘을 단순화합니다. 대조적 예측 작업이 유용한 표현을 학습하는 데 필요한 요소를 이해하기 위해 프레임워크의 주요 구성 요소를 체계적으로 연구합니다.

연구 결과에 따르면, 데이터 증강의 구성이 효과적인 예측 작업을 정의하는 데 중요한 역할을 하며, 대표성과 대조적 손실 사이에 학습 가능한 비선형 변환을 도입하는 것이 학습된 표현의 질을 크게 향상시킵니다. 또한, 대조적 학습은 지도 학습에 비해 더 큰 배치 크기와 더 많은 학습 단계에서 이득을 얻습니다.

이러한 발견을 결합함으로써, 저자들은 ImageNet에서 자기지도 학습 및 준지도 학습 방법에 대해 이전 방법들을 상당히 뛰어넘는 성능을 달성합니다. SimCLR에 의해 학습된 자기지도 표현으로 훈련된 선형 분류기는 76.5%의 Top-1 정확도를 달성하여, 지도 학습된 ResNet-50과 동등한 성능을 보이며, 레이블이 1%만 있는 상태에서 미세 조정할 때 85.8%의 Top-5 정확도를 달성하여 100배 적은 레이블로 AlexNet을 능가합니다​​.

1. 데이터 증강의 구성
데이터 증강은 모델이 보다 강인한 표현을 학습할 수 있도록 돕는 핵심 요소입니다. 데이터 증강을 통해, 같은 이미지의 다양한 변형된 버전을 생성하여, 모델이 주요 특징을 인식하고, 미세한 변화에도 불구하고 동일한 객체나 장면을 식별할 수 있도록 합니다. SimCLR에서는 임의의 크롭, 색상 왜곡, 가우시안 블러 등의 조합이 효과적인 대조적 예측 작업을 정의하는 데 중요함을 발견했습니다. 특히, 크롭과 색상 왜곡의 조합은 모델이 위치와 색상에 덜 민감한, 즉 변형에 대해 불변적인 특징을 학습하도록 유도합니다.

2. 학습 가능한 비선형 변환
Contrastive Loss와 Representation 사이에 비선형 변환 층을 도입하는 것은 학습된 표현의 품질을 크게 향상시킵니다. 이 비선형 변환 층(투영 헤드라고 함)은 모델이 데이터의 중요한 특성을 더 잘 추출하고, 더 복잡한 패턴을 학습할 수 있도록 합니다. 실제로, SimCLR에서는 비선형 투영 헤드가 없는 경우보다 더 높은 품질의 표현을 얻을 수 있음을 보여줍니다. 비선형 투영 헤드의 존재는 모델이 데이터 증강에 의해 생성된 변형에 대해 불변적인 특징을 학습하는 데도 도움을 줍니다. 

3. 더 큰 배치 크기와 더 많은 학습 단계
Contrastive Learning은 지도 학습보다 더 큰 배치 크기와 더 많은 학습 단계로부터 더 큰 이익을 얻습니다. 큰 배치 크기는 모델이 한 번의 학습 단계에서 더 많은 부정적 예시를 비교하게 하여, 풍부한 데이터 분포에 대해 더 잘 일반화하도록 합니다. 이는 모델이 더 구별 가능하고 유용한 특징을 학습하는 데 도움을 줍니다. 또한, 더 많은 학습 단계는 모델이 학습 과정 동안 더 다양한 데이터 변형을 경험하게 하여, 최종적으로 보다 강인하고 정교한 표현을 학습할 수 있게 합니다. SimCLR의 실험 결과는 이러한 이점을 명확히 보여줍니다; 큰 배치 크기와 더 긴 학습이 대조적 학습의 성능을 개선하는 데 기여함을 확인할 수 있습니다.

 

이 논문의 1. Introduction 섹션은 인간의 감독 없이 효과적인 시각적 표현을 학습하는 것이 컴퓨터 비전 분야에서 오랫동안 지속된 문제임을 소개하며 시작합니다. 여기서 '시각적 표현' 학습이란, 이미지나 비디오와 같은 시각적 데이터로부터 유용한 정보를 추출하여, 이를 벡터 형태의 고차원 데이터로 변환하는 과정을 의미합니다. 이렇게 변환된 데이터는 다양한 컴퓨터 비전 작업에서 사용될 수 있습니다.

시각적 표현을 학습하는 접근 방식은 크게 두 가지로 나눌 수 있습니다:

  1. 생성적 접근 방식(Generative approaches): 이 방식은 이미지와 같은 입력 데이터를 직접 생성하거나 모델링하는 방법을 학습합니다. 이러한 접근 방식의 목표는 입력 데이터를 가능한 정확하게 재현하는 것이며, 딥러닝의 발전과 함께 다양한 생성 모델이 제안되었습니다.
  2. 판별적 접근 방식(Discriminative approaches): 반면, 판별적 방식은 레이블이 없는 데이터셋에서 파생된 입력과 레이블을 사용하여 네트워크를 훈련시킵니다. 이는 보통 지도 학습에 사용되는 목표 함수와 유사한 함수를 사용하지만, 사전 정의된 작업(pretext task)을 통해 데이터로부터 직접 입력과 레이블을 추출합니다. 여러 판별적 방식들이 제안되었으나, 이들은 특정 휴리스틱에 기반한 예측 작업에 의존하며, 이는 때때로 학습된 표현의 일반성을 제한할 수 있습니다.

또한, 대조적 학습(Contrastive Learning) 방식이 판별적 접근 방식의 일종으로서 최근에 주목받고 있습니다. 이 방식은 잠재 공간(latent space)에서 양의 쌍(같은 객체나 장면의 다른 이미지)과 음의 쌍(서로 다른 객체나 장면의 이미지)을 대조함으로써, 유용한 시각적 특징을 추출하려는 시도입니다. 이는 상태의 예술(state-of-the-art) 결과를 달성하는 데 있어 매우 유망한 접근 방식으로 간주됩니다.

SimCLR의 도입은 이러한 배경 위에 세워집니다. 저자들은 특수한 아키텍처나 메모리 뱅크 없이도 우수한 성능을 달성할 수 있는 단순화된 프레임워크를 제안합니다. 이는 다양한 데이터 증강 기법을 활용하여, 동일한 데이터 예시의 변형된 두 가지 뷰 간의 일치성을 최대화하는 방식으로 작동합니다. 이 과정에서 학습된 표현은 다양한 시각적 작업에서 활용될 수 있는 강력한 기능을 제공합니다. 저자들은 SimCLR의 핵심 구성 요소를 체계적으로 분석하고, 데이터 증강의 구성, 비선형 변환의 도입, 그리고 더 큰 배치 크기 및 더 많은 학습 단계의 중요성을 발견함으로써, 자기지도 학습 분야에서 새로운 기준을 설정합니다. 특히, SimCLR의 성공은 이러한 구성 요소들의 조합에 기인하는 것으로, 각각이 학습 과정과 결과에 어떤 영향을 미치는지에 대한 심도 있는 이해를 제공합니다.

SimCLR는 두 가지 핵심 개념에 기반합니다:

  1. 다양한 데이터 증강 기법의 활용: 이미지의 다양한 변형(예: 크기 조정, 색상 변경, 가우시안 블러 처리 등)을 통해, 모델이 더 일반화된 특징을 학습하도록 돕습니다. 이러한 접근 방식은 모델이 데이터의 중요한 특성을 포착하면서도 변형에 대해서는 불변성을 유지하도록 합니다.
  2. 대조적 손실 함수를 통한 학습: SimCLR는 변형된 이미지 쌍 사이의 유사성을 최대화하고, 서로 다른 이미지 쌍 사이의 유사성은 최소화하는 대조적 손실 함수를 사용합니다. 이 과정에서 모델은 비슷한 이미지들이 잠재 공간에서 가까이 위치하도록 학습되며, 이는 강력한 시각적 표현을 학습하는 데 도움이 됩니다.

저자들은 SimCLR를 체계적으로 평가하고, 그 결과를 다양한 벤치마크와 비교함으로써, 이 프레임워크가 지도 학습과 유사한 성능을 달성할 수 있음을 보여줍니다. 특히, ImageNet 데이터셋에서의 실험을 통해, SimCLR로 학습된 모델이 선형 분류기로 평가했을 때 상당한 성능 향상을 보임을 확인합니다. 더욱이, 레이블이 매우 제한된 상황에서도 SimCLR는 뛰어난 성능을 나타내며, 이는 자기지도 학습이 효과적인 데이터 효율성을 가질 수 있음을 시사합니다.

이러한 발견은 SimCLR가 단순함에도 불구하고 강력한 시각적 표현을 학습할 수 있는 유연한 프레임워크임을 보여줍니다. 또한, 이 연구는 자기지도 학습 분야에서 아직 탐색되지 않은 잠재력이 많음을 강조하며, 향후 연구 방향에 대한 통찰력을 제공합니다.

학습 가능한 비선형 변환의 기본 개념
SimCLR 프레임워크에서 기본 인코더(base encoder)는 입력 이미지에서 특징 벡터(또는 "표현")를 추출합니다. 이 표현 벡터는 이미지의 중요한 정보를 담고 있지만, 직접적으로 대조적 손실 함수에 적용하기에는 최적의 형태가 아닐 수 있습니다. 이 문제를 해결하기 위해, 연구자들은 인코더에 의해 추출된 표현과 대조적 손실 사이에 추가적인 변환 단계를 도입했습니다. 이 변환은 표현 벡터를 손실 함수가 적용되는 새로운 공간으로 매핑하는 역할을 합니다.

비선형 변환의 역할
이 추가적인 변환 단계는 일반적으로 다층 퍼셉트론(MLP)으로 구현되며, 비선형 활성화 함수를 포함합니다. 이러한 비선형 변환은 여러 가지 중요한 기능을 수행합니다:

1) 정보의 압축과 강조: 변환은 원본 표현에서 가장 중요한 정보를 강조하고, 대조적 학습에 불필요한 정보를 배제함으로써 더 강력한 표현을 생성할 수 있게 합니다.
2) 특징 공간의 재조정: 변환을 통해 특징 공간이 재조정되어, 비슷한 이미지들이 더 가까워지고 다른 이미지들이 더 멀어지게 됩니다. 이는 대조적 손실 함수가 더 효과적으로 작동할 수 있는 공간을 만듭니다.
3) 학습의 유연성 증가: 변환 단계는 학습 가능하므로, 네트워크는 데이터에서 가장 유용한 표현 변환 방법을 스스로 학습할 수 있습니다. 이는 다양한 데이터셋과 학습 시나리오에 대한 모델의 적응력을 향상시킵니다.

중요성
SimCLR 연구에서 발견된 바에 따르면, 표현과 대조적 손실 사이에 비선형 변환을 도입하는 것은 학습된 표현의 품질을 상당히 향상시킵니다. 실제로, 실험 결과는 이 변환 없이는 얻을 수 없었던 성능 개선을 보여주었습니다. 따라서, 이 비선형 변환 단계는 대조적 학습 프레임워크에서 중요한 역할을 하며, 효과적인 시각적 표현 학습을 위해 필수적인 구성 요소로 자리 잡았습니다.

 

2.1 절, "The Contrastive Learning Framework"에서는 SimCLR의 대조적 학습 프레임워크에 대한 핵심 개념과 주요 구성 요소를 설명합니다. 이 프레임워크는 시각적 표현을 학습하기 위해 대조적 손실 함수를 사용하여, 같은 데이터 예시의 변형된 뷰(view) 사이의 유사성을 최대화하고, 서로 다른 예시들 사이의 유사성은 최소화하는 방식으로 작동합니다. 이 과정에서 모델은 강력하고 유용한 시각적 특징을 추출할 수 있게 됩니다.

핵심 구성 요소

  1. Stochastic Data Augmentation Module (확률적 데이터 증강 모듈):
    • 임의의 데이터 예시를 변형시켜 동일 예시의 서로 다른 두 뷰를 생성합니다. 이 두 뷰는 양의 쌍(positive pair)으로 간주되며, 변형에는 무작위 크롭, 색상 왜곡, 가우시안 블러 등이 포함될 수 있습니다.
  2. Neural Network Base Encoder (신경망 기반 인코더):
    • 데이터의 두 변형된 뷰에서 특징을 추출하는 역할을 합니다. 일반적으로 ResNet과 같은 인기 있는 네트워크 아키텍처가 사용됩니다. 이 인코더는 데이터의 두 변형된 뷰를 고차원 특징 벡터로 변환합니다.
  3. Projection Head (프로젝션 헤드):
    • 인코더에 의해 추출된 표현으로부터 대조적 손실을 계산하기 위한 특징 공간으로의 매핑을 담당합니다. 이는 보통 MLP(Multi-Layer Perceptron)과 같은 작은 신경망으로 구성되며, 대조적 학습을 위한 최적의 특징 공간을 학습하는 데 도움을 줍니다.
  4. Contrastive Loss Function (대조적 손실 함수):
    • 대조적 예측 작업을 정의하고 최적화하는 데 사용됩니다. 이 손실 함수는 양의 쌍 간의 유사도를 최대화하고, 배치 내의 다른 모든 음의 예시들(negative examples)과의 유사도는 최소화하려고 합니다. 손실 계산에는 일반적으로 정규화된 온도 조정된 크로스 엔트로피 손실이 사용됩니다.

작동 원리

  • 미니배치에서 N개의 예시를 샘플링하고, 각 예시에 대해 두 가지 확률적 데이터 증강을 적용하여 양의 쌍을 생성합니다.
  • 이후 모든 양의 쌍에 대해 대조적 손실을 계산하고, 이 손실을 최소화하는 방향으로 네트워크를 업데이트합니다.
  • 대조적 학습 과정에서, 같은 이미지의 변형된 뷰들은 서로 가까워지도록 학습되고, 다른 이미지의 뷰들은 멀어지도록 학습됩니다. 이를 통해 모델은 더 일반적이고 유용한 시각적 특징을 학습할 수 있습니다.

SimCLR 프레임워크는 간단하면서도 효과적인 방식으로 시각적 표현 학습을 위한 새로운 접근 방식을 제안을 제시합니다. 이 프레임워크의 강점은 특수한 아키텍처나 복잡한 메모리 시스템 없이도 우수한 성능을 달성할 수 있다는 점입니다. 대조적 학습의 이러한 접근 방식은 시각적 표현 학습에 있어 중요한 진전을 의미하며, 이를 통해 얻은 표현은 분류, 객체 감지, 세그먼테이션 등 다양한 다운스트림 작업에서 효과적으로 사용될 수 있습니다.

대조적 손실 함수의 중요성

대조적 손실 함수는 SimCLR 프레임워크의 핵심 요소 중 하나입니다. 이 함수는 양의 쌍 사이의 유사도를 최대화하고, 같은 배치 내의 다른 모든 음의 쌍 사이의 유사도를 최소화하려고 시도합니다. 이 과정에서 사용되는 주요 메트릭은 코사인 유사도(cosine similarity)와 Temperature 조정된 소프트맥스(temperature-scaled softmax)입니다. 이러한 메트릭은 고차원 특징 공간에서의 유사도를 효과적으로 측정하고, 모델이 더 구별력 있는 특징을 학습하도록 유도합니다.

학습 프로세스

SimCLR의 학습 프로세스는 미니배치를 이용한 반복 학습으로 구성됩니다. 각 반복에서는 먼저 미니배치 내의 각 데이터 예시에 대해 두 가지 다른 데이터 증강을 적용하여 양의 쌍을 생성합니다. 이후, 신경망 기반 인코더를 사용해 각 뷰를 고차원 특징 벡터로 변환하고, 프로젝션 헤드를 거쳐 대조적 손실을 계산하기 위한 최종 특징 공간으로 매핑합니다. 마지막으로, 계산된 대조적 손실을 바탕으로 모델의 파라미터를 업데이트합니다.

결론

SimCLR 프레임워크는 복잡한 구조나 추가적인 메모리 요구 없이도 효과적인 시각적 표현을 학습할 수 있는 강력한 방법을 제공합니다. 대조적 학습 방식을 통해, 모델은 이미지의 본질적인 특성을 포착하고, 이를 다양한 비전 태스크에 적용할 수 있는 일반화된 표현으로 변환할 수 있습니다. 이러한 접근 방식은 시각적 표현 학습 분야에서의 새로운 방향을 제시하며, 향후 연구와 응용에 있어 중요한 기여를 할 것으로 기대됩니다.

 

1. 데이터 증강(Data Augmentation) : 원본 데이터 $`x`$에 두 가지 다른 데이터 증강 연산자 $`t`$와 $`t'`$이 적용됩니다. 이 연산자들은 동일한 증강 가족($`T`$)에서 샘플링됩니다. 이를 통해 동일한 데이터 예시 $`x`$로부터 관련된 두 뷰 $`x̃i`$와 $`x̃j`$를 생성합니다. 즉, 원본 이미지에 두 가지 다른 변형(예: 잘라내기, 색깔 변경 등)을 적용해 두 개의 변형된 이미지를 만드는 것입니다.

2. 기본 인코더(Base Encoder) $f(·)$ : 변형된 두 이미지는 각각 기본 인코더 $`f(·)`$ 를 통과하여 임베딩 또는 표현 $`hi`$와 $`hj`$로 변환됩니다. 이 인코더는 일반적으로 딥러닝 모델, 예를 들어 ResNet과 같은 구조로 구성됩니다. 인코더는 이미지의 원시 픽셀 값에서 중요한 특징을 추출하여 더 작은 차원의 벡터로 요약하는 역할을 합니다.

3. 투영 헤드(Projection Head) $g(·)$ : 인코더에 의해 생성된 표현 $`hi`$와 $`hj`$는 투영 헤드 $`g(·)`$를 통과하여, 최종 임베딩 $`zi`$와 $`zj`$로 변환됩니다. 이 투영 헤드는 비선형 변환(예를 들어, ReLU 같은 비선형 활성화 함수를 가진 MLP)을 통해 대조 손실을 계산하기 전에 임베딩에 추가적인 변형을 적용합니다. 

4. 일치성 최대화(Maximize Agreement) : $`zi`$와 $`zj`$는 대조 손실 함수를 사용하여 서로 일치하도록 학습됩니다. 즉, 같은 원본 이미지에서 유도된 임베딩이 서로 가까워지도록 하고, 다른 이미지에서 유도된 임베딩과는 멀어지도록 하는 것입니다. 이 과정은 모델이 이미지의 중요한 특징을 식별하고 효과적으로 인코딩하는 법을 배우도록 돕습니다.

학습이 완료된 후에는 투영 헤드 $`g(·)`$를 버리고, 인코더 $`f(·)`$와 표현 $`h`$만을 다운스트림 작업(예: 분류, 객체 탐지 등)에 사용합니다. 이는 $`g(·)`$가 학습 과정 중에만 필요하며, 실제 응용에서는 $`f(·)`$로부터 얻어진 표현 $`h`$가 사용된다는 것을 의미합니다.

 

손실 함수는 대조적 학습(Contrastive Learning)에서 사용되며, 특정한 데이터 쌍 간의 유사도를 최대화하고 다른 쌍들과의 유사도를 최소화하는 것을 목적으로 합니다.

손실 함수는 다음과 같이 구성됩니다:
- N개의 미니 배치 예시에서 2N개의 데이터 포인트가 데이터 증강을 통해 생성됩니다.
- 양의 쌍(positive pair)에 대한 손실 함수는 $ \ell_{i,j}$로 표현되며, 아래와 같이 계산됩니다.
- 손실은 $ \exp(\text{sim}(z_i, z_j) / \tau) $로 계산되는데, 여기서 $ z_i $와 $ z_j $는 각각의 데이터 포인트를 인코더 네트워크와 프로젝션 헤드를 통해 얻은 특징 벡터이고, $ \text{sim} $은 이 둘 사이의 유사도(대개 코사인 유사도)를 계산합니다. $ \tau $는 온도 매개변수로, 손실 함수의 감도를 조정합니다.
- 이 유사도 스코어는 모든 음의 예시$\( z_k \), \( k \neq i \) $에 대한 유사도 스코어의 지수 함수 값의 합으로 나누어져 정규화됩니다. 이를 통해 특정 양의 쌍 $ (i,j) $에 대한 손실 값을 얻습니다.
- $ \mathbb{1}_{[k \neq i]} $는 지시 함수(indicator function)로, $ k $가 $ i4와 다를 때 1의 값을 가지고 그렇지 않으면 0의 값을 가집니다.
- 최종 손실은 미니 배치 내의 모든 $ (i,j) $ 및 $ (j,i) $ 쌍에 대해 계산됩니다.

이 손실 함수는 각 양의 쌍에 대한 손실을 최소화함으로써, 해당 특징 벡터가 다른 모든 음의 샘플보다 선택된 양의 샘플과 더 유사하도록 네트워크를 학습시키려는 목적을 가집니다. 이를 통해 모델은 다른 변형들과 구별되는, 데이터의 중요한 특징을 학습하게 됩니다.

위의 이미지는 전체적인 알고리즘에 대해서 코드로 설명하고 있다.

 

$\tau $의 역할
SimCLR 프레임워크에서 $\tau $는 정규화된 온도 조정 크로스 엔트로피 손실(NT-Xent loss)의 온도 매개변수로 사용됩니다. 이 손실 함수는 대조적 예측 작업을 정의하고, 서로 다른 뷰(view) 사이의 일치성을 최대화하여 효과적인 시각적 표현을 학습하도록 설계되었습니다.

중요성
1. 정규화와 온도 조정: $\tau $는 벡터 간의 코사인 유사도를 기반으로 한 정규화된 크로스 엔트로피 손실 함수에 온도 매개변수로 작용합니다. 이는 모델이 어려운 음성 예제(hard negatives)에서 학습하는 것을 도와줍니다. 적절한 $\tau $ 값은 모델이 어려운 예제로부터 더 많은 정보를 추출하도록 하여, 결과적으로 더 좋은 특징 표현을 학습할 수 있게 합니다.
2. 모델 성능에 대한 영향 : $\tau $의 값은 학습하는 동안 모델 성능에 큰 영향을 미칩니다. 너무 높거나 낮은 값은 모델이 효과적으로 학습하지 못하게 만들 수 있습니다. 실험을 통해 최적의 태우(τ) 값을 찾는 것이 중요하며, SimCLR에서는 이를 통해 상당한 성능 향상을 달성하였습니다.
3. 배치 크기와의 상호작용 : 또한 $\tau $는 학습 시 사용되는 배치 크기와 상호작용하며, 큰 배치 크기에서 더 많은 음성 예제를 효과적으로 활용할 수 있게 해줍니다. 이는 대조 학습에서 핵심적인 요소로, 더 나은 시각적 표현을 학습하는 데 기여합니다.

### 결론

$\tau $는 SimCLR 프레임워크 내에서 정규화된 온도 조정 크로스 엔트로피 손실 함수의 중요한 매개변수입니다. 적절한 $\tau $ 값의 선택은 모델이 효과적으로 학습하고, 더 좋은 시각적 표현을 학습하는 데 결정적인 역할을 합니다. 따라서, 대조 학습에서 $\tau $의 역할과 중요성을 이해하는 것은 모델 성능을 최적화하는 데 중요한 요소 중 하나입니다.

 

$\tau $ 값의 크기에 따라 대조 학습에서의 효과가 달라집니다. 이는 NT-Xent 손실 함수에 직접적으로 영향을 미치며, 결과적으로 학습된 표현의 품질과 모델의 최종 성능에 영향을 줍니다.

$\tau $가 큰 경우

  • $\tau $가 크면, 손실 함수의 스케일이 조정되어 음성 샘플(negative samples) 간의 차이가 줄어듭니다. 이는 모델이 양성 쌍(positive pairs)과 음성 쌍(negative pairs) 간의 차이를 덜 구분하게 만들 수 있습니다. 즉, 모델이 음성 샘플을 더 쉽게 구분하지 못하게 되어 학습이 덜 효과적일 수 있습니다.
  • 학습 과정에서 모델이 어려운 음성 샘플(hard negatives)로부터 충분히 학습하지 못할 수 있으며, 이는 최적의 특징 공간을 학습하는데 방해가 될 수 있습니다.

태우(τ)가 작은 경우

  • $\tau $가 작으면, 손실 함수가 음성 샘플 간의 차이를 더 크게 만들어 모델이 양성 쌍과 음성 쌍을 더 명확하게 구분하도록 합니다. 이는 모델이 양성 쌍을 더 밀접하게, 음성 쌍을 더 멀리 배치하도록 유도하여, 더 discriminative한 특징 공간을 학습하게 됩니다.
  • 그러나 τ 값이 너무 작으면, 모델이 어려운 음성 샘플에 과도하게 집중하게 되어, 쉬운 음성 샘플로부터 충분한 학습을 하지 못할 수 있습니다. 이는 학습 과정에서의 과적합(overfitting)으로 이어질 수 있으며, 최종적으로 일반화 능력이 떨어지게 됩니다.

결론

적절한 $\tau $값의 선택은 중요합니다. 너무 높거나 낮은 $\tau $ 값은 모두 학습 과정과 최종 모델의 성능에 부정적인 영향을 미칠 수 있습니다. 실험을 통해 최적의 τ 값을 찾는 것이 필수적이며, 이를 통해 모델이 보다 유용한 시각적 표현을 학습할 수 있도록 해야 합니다.