迁移学习资料
知乎迁移学习回答
关于迁移学习汇总性的文章：A Survey on Transfer Learning
什么是要迁移学习？
迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习（starting from scratch，tabula rasa）。
具体分支
Inductive Transfer Learning
Inductive 的语义解释为归纳，我们可以直接理解为学习适用于Target Domain的网络特征。尤其注意，在 inductive 的迁移学习里，我们有 Target Domain 的 Ground Truth Label，这就意味着我们想要迁移的数据所在 Domain 将直接会学习网络和其特征提供指导作用（假设用深度学习方法，则通过Back-progagation方式）。
Self-Taught Learning
Self-Taught Learning 若直接放在现在深度学习的背景下意义并不明。根据原作者引用的文献来看，他们先从网络上下载大量的图片，通过 Sparse Coding 的方式学习通用普世的图片特征，再直接从中找给定的任务比如图片分类所用的图片特征来做迁移学习。（注意文章发表于09年前，所以那时候 Sparse Coding 的热潮相当于现在 Deep Learning 的热潮）
Multi-task Learning
多任务学习 (multi-task learning) 与上个章节介绍的方向最大的不同是我们需要把 Source 和 Target 两个或者更多任务同时学好。在多任务学习中，任一任务的训练目标都是同等重要的。因此，这里 Source/Target Domain 的分类姑且没有太大意义（除非特定情况）。
Transductive Transfer Learning
Transductive 的字面意思是转导，通常来说要比 inductive transfer learning 要难的多。由于直接缺乏 Target Domain Label，在这个情况，我们只能依赖于 Source Domain 信息来尽可能的训练出泛化能力强的特征。
Domain Adaptation / Generalisation
Domain Adaptation 目标是学习 domain-invariant feature 使得学习到的特征不受限于 Source Domain 而导致 over-fitting。其主要会测试于 Office Dataset - Domain Adaptation - UC Berkeley，其中分为三个 Domain 其一是 Amazon 上扒的图片，另外两个是实体拍摄图片但一个高分辨率一个是低分辨率。
Unsupervised Transfer Learning
在这个方向可适用于的任务非常有限，比如 Dimension Reduction。由于缺乏 Source Label 因此也无法采用绝大部分的 Deep Learning 方法，（但比如Auto-encoder 是其中一个基于 Deep Learning 的降维方式，但很难归类于 Transfer Learning）。
在深度学习中使用最为广泛的是基于 pre-trained model 的网络fine-tune，如： ImageNet pre-trained 训练的模型在泛化能力上有很大的提升。由于神经网络训练局限于一个性质叫 Catastrophic Forgetting，意思是如果我们将 pre-trained 的模型作为初始值训练一个全新的任务，模型之前学习到的特征将灾难性遗忘，也意味着之前网络训练的任务结果将非常糟糕。
PS：按我个人理解：把源域学习到知识（包括迁移权重，迁移特征，迁移约束等）用在了目标域就是迁移学习，利用源域和目标域的相关性，找到之间的shift,提高源域或目标域性能，从而避免负迁移