Handcrafted pretext tasks

Handcrafted pretext tasks는 SSL에서 중요한 개념입니다. 이 방식은 라벨이 필요 없는 학습 과정에서, 미리 정의된 작업(pretext task)을 통해 모델이 데이터로부터 유용한 특성을 자동으로 추출하고 학습할 수 있게 하는 기법입니다. Handcrafted, 즉 '수작업으로 만들어진'이라는 용어는 이러한 학습 과제가 연구자에 의해 사전에 고안되고, 명시적으로 정의된다는 의미를 담고 있습니다.

Handcrafted Pretext Tasks의 목적

• 데이터로부터의 특성 학습: 모델이 주어진 데이터셋 내에서 숨겨진 구조나 패턴을 인식할 수 있도록 하여, 지도 학습에서와 유사한 수준의 특성을 무라벨 데이터를 통해 학습할 수 있게 합니다.
• 다운스트림 태스크를 위한 사전 학습: 이러한 과제를 통해 학습된 표현은 다양한 다운스트림 태스크(예: 이미지 분류, 객체 인식 등)에서의 성능 향상에 기여할 수 있습니다.

Handcrafted Pretext Tasks의 예시

1. 이미지 회전 예측: 이미지를 임의로 회전시킨 후, 모델이 이 회전의 각도를 예측하도록 합니다. 이 과정에서 모델은 이미지의 전반적인 구조와 객체의 방향성을 파악하는 방법을 학습합니다.
2. 자가 인코딩(Self-encoding): 입력 이미지를 압축한 후 다시 복원하는 과제입니다. 모델은 이미지의 중요한 특성을 압축하는 방법과 이를 통해 원본 이미지를 재구성하는 방법을 학습합니다.
3. 조각 맞추기(Jigsaw puzzle): 이미지를 여러 조각으로 분할한 후 무작위로 섞어, 모델이 원래 이미지의 순서를 복원하도록 합니다. 이를 통해 모델은 이미지의 지역적인 특성과 전체적인 구조 사이의 관계를 학습합니다.
4. 색상화(Colorization): 흑백 이미지를 입력으로 받아, 모델이 원본의 색상을 복원하도록 합니다. 이 과제는 모델이 객체의 질감과 형태를 이해하는 데 도움을 줍니다.

Handcrafted Pretext Tasks의 한계

• 일반화의 어려움: 특정 pretext task에 대해 특화된 특성을 학습하는 경우, 이러한 특성이 다른 다운스트림 태스크에 잘 일반화되지 않을 수 있습니다.
• 설계의 복잡성: 유용한 pretext task를 설계하는 것은 종종 직관적이지 않으며, 특정 데이터셋이나 문제에 맞게 조정이 필요할 수 있습니다.