8. 차원 축소

8.1 차원의 저주

• 경계점 현상 : 부피와 표면적

$$ V_n = 1^n = 1 $$

$$ S_n = 2n \times 1^{n-1} = 2n $$

• 두 점 사이의 거리 증가

⇒ 오버피팅, 학습에 지장

8.2 차원 축소를 위한 접근법

8.2.1 투영

• 고차원 데이터를 저차원 공간에 선형 투영
• 스위스 롤 문제
  • 뒤틀린 데이터셋에 대한 선형 투영

8.2.2 매니폴드 학습

• 매니폴드 가정 : 현실의 고차원 데이터는 저차원의 매니폴드에 모여있을 것이라는 가설

  • 스위스 롤은 3차원에선 꼬여 있지만, 2차원에선 평면 매니폴드에 존재

• 매니폴드를 통한 차원 축소의 성능은 보장된 것은 아님

8.3 주성분 분석 (Principal Component Analysis)

• 데이터에 가장 가까운 초평면을 정의한 다음, 데이터를 평면에 선형 투영