차원축소와 매니폴드2

차원축소와 매니폴드1에서 추가적으로 정리한 내용

 

차원의 저주를 해결하기 위한 방법

1. 차원축소
   1. PCA, T-SNE, LLE
   2. 정규화 기법
      1. L1, L2
2. 희소벡터 문제점 중에 과적합의 위험?

 

차원 축소와 매니폴드의 관계

매니폴드가 그러면 차원축소를 하기 위해서 단순한 구조나 패턴을 찾는건가?

자연어 임베딩 과정에서 고차원 벡터 공간을 사용하는 이유

매니폴드가 그러면 차원축소를 하는건가?

매니폴드가 그러면 차원축소를 하기 위해서 구조 파악하는거야?

차원 축소 과정에서 매니폴드를 발견하고 이를 통해 데이터의 내재적인 구조를 이해하는 것입니다

 

매니폴드 학습은 고차원 데이터 공간 내에 숨어 있는 저차원 매니폴드를 찾아내어 데이터 포인트 간의 중요한 관계나 구조를 보존하는 것을 목표로 합니다.
-> 3차원을 2차원으로 표현하는 방법에 대해서 찾는건가?

 

많은 실세계 데이터는 고차원 공간에 존재하지만, 실제로 중요한 정보는 더 낮은 차원의 매니폴드 상에 내재되어 있습니다. 예를 들어, 이미지나 자연어 데이터는 고차원 벡터로 표현될 수 있으나, 이 데이터의 중요한 패턴이나 구조는 저차원에서 잘 나타낼 수 있습니다.
왜?

 

매니폴드 학습은 고차원 데이터에서 이러한 저차원의 내재적인 구조를 찾아내려고 시도합니다. 이 구조를 발견함으로써, 데이터 포인트 간의 관계를 더 잘 이해할 수 있고, 데이터를 더 효율적으로 처리하며 분석할 수 있습니다.

어떻게?

 

3.2 매니폴드 학습의 예시
1) t-SNE(t-distributed Stochastic Neighbor Embedding)
고차원 데이터 포인트 간의 상대적인 거리를 보존하면서 이를 저차원 공간으로 매핑합니다. 이 과정에서 유사한 데이터 포인트들이 저차원 공간에서 서로 가까이 위치하게 되며, 데이터의 클러스터 또는 그룹을 시각적으로 이해하기 쉬워집니다.
2) LLE(Locally Linear Embedding)
각 데이터 포인트와 그 이웃 간의 로컬(지역적) 선형 관계를 찾아내고, 이 관계를 저차원 공간에서도 유지하려고 시도합니다. 이 방법은 데이터의 로컬 구조를 보존하면서 고차원에서 저차원으로의 매핑을 수행합니다.

 

자연어 처리에서 더 추상적인 의미적 매니폴드를 생각할 수 있습니다. 예를 들어, 감정 분석에서 긍정적인 감정을 표현하는 단어나 문장은 고차원 공간에서 특정 영역을 형성할 수 있고, 부정적인 감정을 표현하는 단어나 문장은 다른 영역을 형성할 수 있습니다. 이렇게 의미적 유사성에 기반한 구조가 매니폴드를 형성합니다.