나의 공부소리 : 우가우가

배경 large-scale, well-annotated 데이터를 모으는 것은 매우 많은 비용이 든다. 따라서 pre-train 된 모델에서 knowledge trasfer 하여 모델을 구성하는 방법이 제시되어왔다. 하지만 데이터의 분포가 다르기 때문에 실제 제대로 작동하지 않는 문제점이 있다. 이러한 데이터 간 분포의 차이를 domain shift라고 하며, domain adaptation은 이를 줄이기 위해 제시된 방법이다. Domain Adaptation에는 여러 가지 방법이 있는데, 전에 다루었던 Unsupervised DA by backpropagation (2021.03.29 - [DeepLearning] - [paper review] Unsupervised Domain Adaptation by..

해당 논문은 기존의 Domain Adaptation을 요약하고, framework로 일반화한다. 그에 더불어 Unsupervised Domain Adaptation에 GAN loss function을 도입한다. 사실 GAN이 익숙하다면 예상이 가는 내용이다. 이해하려면 GAN 을 먼저 알아야한다. 위 그림은 기존의 Domain Adaptation 방법론들을 framework로 도식화한 것이다. 예를 들어 DANN의 경우 discriminative model, weights tied, mini-max objective 으로 분류된다. 모든 DA 방법론들을 1) Generative or discriminative model? 2) tied weight or untied? 3) adversarial objec..

Domain Adaptation by backpropagation VS DSN 한 줄 요약 : DANN 은 Source와 Target domain을 generalize 하도록 encoder를 학습시키고, DSN은 Source와 Target domain의 고유한 특징을 덜어냄으로써 generalize 한다. Model Architecture 3가지 구조 1. Private Encoder : Source / Target domain 각각의 고유한 특징을 추출하도록 학습한다. 2. Shared Encoder : Source / Target domain의 공통적인 특징을 추출하도록 학습한다. 3. Shared Decoder : Private, Shared representation을 통해 Source / Tar..

Domain Adaptation 이란? Domain Adaptation은 Transfer learning의 일종으로, train data (Source domain)와 test data(Target domain)의 분포가 다르지만, 두 도메인에 같은 task를 적용할 때 사용되는 방법론이다. Domain Adaptation의 목표는 Source domain과 Target domain 사이의 domain shift를 줄이는 것이다. Unsupervised Domain Adaptation 이 중에서도 Unsupervised DA는 타겟 도메인의 데이터가 라벨이 전혀 없을 때에도 task를 수행할 수 있다. 이 페이퍼에서 강조하는 특징은 discriminativeness , domain-invariance이다..