机器学习13 -- 无监督学习之自监督

1 为什么要自监督学习 self-supervised learning

自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了,标注label是十分宝贵的,一般需要人工打标,时间和人力成本都十分高昂。但现实中,获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data,一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。

自监督学习通过data的一部分,来predict其他部分,由自身来提供监督信号,从而实现自监督学习。利用自监督学习,可以学到一定的文本或图片的表征,从而有利于下游任务的展开。这就是pretrain-finetune

image.png

 

2 自监督学习实现方案

自监督学习实现方案主要有

  1. 利用部分data来重建整个data。这其实就是Denoising Auto-Encoder的一种。NLP方面BERT系列的Mask language model,和CV领域的图像还原In-painting,都是采用了这种方案
  2. CV领域的一些任务。比如将图片分割为9块,打乱后,进行拼图。将图片旋转一定角度,然后predict旋转的角度。
  3. 对比学习。比如word2vec,Contrastive Predictive Coding,SimCLR

 

3 NLP领域的自监督学习

各种NLP预训练模型,就是利用自监督学习实现的。比如Elmo、GPT、BERT、XLNet、Electra、T5等。它们可以看做是一种去噪自编码器denoising Auto-Encoder。

image.png

3.1 Auto-Encoder和Auto-regressive LM

它们又分为两种

  1. 自编码器Auto-Encoder。比如BERT所采用的Mask language model。它将sequence中的部分token,进行mask,然后让模型对mask位置进行predict。它的优点是可以充分利用两个方向的语句信息,在分类、QA、NER等任务上表现很好。缺点是sequence中只有mask位置参与了predict,训练效率较低。另外训练时有mask,而下游任务fine-tune时没有mask,导致两阶段不一致。
  2. 自回归语言模型 Auto-regressive LM。严格来说MLM掩码语言模型不能认为是一种语言模型。GPT等自回归方式的模型才是真正的语言模型。它利用上文来预测下文的token。它在生成任务上表现较好。优点是pretrain和fine-tune两阶段一致,且sequence中每个位置均参与了predict,训练效率很高。缺点是只能看到上文,无法看到下文,也就是单方向,大大影响了对语句的语义理解。

Auto-Encoder示例如下,它可以获取两个方向的上下文,有助于语义理解

image.png

Auto-regressive LM示例如下,不论是从前到后,还是从后到前,均只能单向

image.png

 

3.2 XLNet和PLM

XLNet则结合了二者的优点,它提出了排序语言模型PLM(Permutation LM)。它分为两步

  1. 排序,将sequence中的token位置打乱,实操中没有直接对token打乱,而是利用了attention mask
  2. 自回归语言模型predict。由于token的位置打乱了,所以训练语言模型时,可以获取到下文的信息了,有助于对整个sequence的理解。

image.png

 

4 CV领域的自监督学习

CV任务上,也很容易实现自监督学习

4.1 predict missing pieces

将图片中部分区域挖空,然后让模型进行预测,使输出能尽量还原输入图片。

image.png

 

4.2 Jigsaw Puzzles 拼图游戏

将图片分割为多个区域并打乱,然后让模型将它还原为原始图片。和拼图游戏很像。

image.png

 

4.3 Rotation 旋转

将图片旋转一定角度,让模型预测旋转了多少度。或者将图片旋转0、90、180、270度四种类别,让模型预测旋转的类别。

image.png

猜你喜欢

转载自blog.csdn.net/u013510838/article/details/108553383