Ch 15. Representation Learning

15.2 Transfer Learning and Domain Adaptation

Transfer learning/Domain adaptation

• 모두 representation learning의 일환이다.
• 한 setting에서의 학습이 다른 setting에서 활용되어서 일반화(generalization)을 증진시키는 것

Transfer learning

• 다른 task들을 수행하지만, 한 task에서의 variation을 설명하던 factor가 다른 task에서의 variation도 설명이 어느정도 가능하다는 것
• 시각 task라면 edge나 형상(shape)와 같은 low-level 개념을 공유함으로서 개/고양이 식별의 학습 결과를 곤충 식별에도 유용하게 이용
• 그림처럼 이 공통점은 input의 semantic보다는 output의 semantic에 더 가까운 것임

Domain adaptation

• 동일한 task를 수행하지만 입력이 약간 상이한 경우
  • ex) 감정인식 task, 책 서평 데이터 -> 가전기기 서평 데이터

Concept drift

• 시간의 흐름에 따라서 분포가 서서히 바뀌어 컨셉이 바뀌어 간다는 것
• 이것도 시간을 축으로 한 transfer learning으로 봐도 무방

두 개의 극단적 TL

• One-shot learning
  • TL 두번째 단계에서 단지 하나의 labeled example 만을 학습 데이터로 주는 것
  • TL 첫번째 단계에서 이미 기저의 클래스들을 이미 분류하는 능력을 학습했기 때문에 가능한 것
• Zero-shot learning
  • ex) 고양이에 대한 많은 문서를 읽은 후, 이미지에서 고양이를 인식하는 것
  • 고양이 이미지를 한장도 본적이 없지만, 고양이 특성을 문서상으로 익힌 후 이를 이용해 guessing 하는 것
  • 어떻게 가능한가? TL 첫번째 단계에서 추가적인 정보를 익히기 때문에
  • multi-modal learning 을 보여준다.
  • 그림에서 x(단어), y(이미지) 사이의 상관관계는 모르지만, fx(단어에 대한 representation)와 fy(이미지에 대한 representation)사이의 상관관계를 바탕으로 이를 연관시킴

15.3 Semi-supervised Disentangling of Causal Factors

한 representation이 다른 representation보다 좋은 것인지를 판단하는 기준

이상적인 representation

• 데이터 간의 인과관계(causal)를 잘 밝혀내는 것
• 서로 다른 원인들 사이를 잘 분리하는 것
  • seperate features or directions in feature space corresponding to different causes
  • disentangles the causes from one another