初探异构迁移学习

由于收集可能很困难辅助标记的源域数据与目标共享相同的特征空间域,所以大多数迁移学习方法假设源域和目标域由相同的特征空间组成,这大大限制了应用方式。最近,异构迁移学习方法已经发展到解决这些限制。这实际上扩大了迁移学习的应用范围许多其他现实世界的任务,如跨语言文本分类,文字到图像分类等等。

异构迁移学习的特点是源域和目标域具有不同的特征空间,但也可以和其他问题相结合,如不同的数据分布和标签空间。这些面临重大挑战,因为必须制定一种方法来弥合空间的差异,数据分布以及这些跨域中可能存在的其他空白学习任务。

异构迁移学习(Heterogeneous transfer learning)是根据特征空间的不同划分出来的,与之对应的是同构迁移学习(Homogeneous transfer learning),而传统的机器学习假设训练集和测试集属于相同的特征空间,且拥有相同的数据分布。

同构迁移学习

同构迁移学习中,源和目标数据的特征域由相同的属性(Xs = Xt)和标签(Ys = Yt)表示空间本身具有相同的维度(ds = dt)。这种方法因此侧重于连接域之间数据分布的差距转移。总体而言,同构转移学习可以被分为五类:基于实例的,基于特征的(对称或不对称),基于模型参数的,基于关系信息的和混合方法。 主要为域适配(domain adaptation)。在这种情况下,源域执行一个单一的,共同的任务,但目标域,是减少由于分布的迁移所带来的准确性的下降。

异构迁移学习

异构迁移学习中,源和目标之间的特征空间是非对等的(Xs ≠ Xt)和标签(Ys ≠ Yt),且特征的维度也可能不同。 因此该方法需要特征和/或标签空间转换来弥合知识迁移的空白,以及处理跨域数据分布差异。这种情况更具挑战性,这些领域之间的共同点更少。 换句话说,先验知识来自源数据,但它以与目标数据不同的方式表示。
异构域适配
这里写图片描述
大多数异构迁移学习解决方案分为两类转换特征空间:对称(a)和非对称(b)变换。

负迁移

什么是负迁移
现阶段异构迁移学习中,负迁移并没有得到完全解决,由于域之间不相关性大,识别和提取性能提高的知识较少。

大数据迁移学习

迁移学习的理论基础是数据大小无关的,没有广泛调查,具体而言,全面的迁移学习方法适用于大数据场景。 这是因为可以利用这些方法来增强大数据环境下的目标任务。迁移学习在大的领域具有竞争力。因为大数据存储库的增长,可以增强很多机器学习任务,这些任务是通过使用来自相似领域的可用数据集。 这样做,可以避免收集新的标记的数据。

猜你喜欢

转载自blog.csdn.net/qq_34564612/article/details/79193050