元学习调研

元学习论文总结||小样本学习论文总结

2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019


浅述小样本学习以及元学习

如果机器也能拥有这种学习能力的话,面对样本量较少的问题时,便可以快速地学习,这便是元学习(meta learning),也可以称为元学习。

在此之后,人们发现通过元学习能够很好地实现小样本分类任务,因此越来越多的人将目光投在了元学习上。总体来说,通过元学习的方法实现小样本分类大体上有三种:

  • 基于度量的元学习
  • 基于模型的元学习
  • 基于优化的元学习

基于模型的元学习

近年来,小样本学习分类发展迅速,面对众多的分类任务,都可以通过训练一个模型来达到任务要求。其中元学习的方法较多,为了最大的适用性,元学习的机制应该是任务的通用性,即面对不同的任务,不需要构建不同的模型,用同样的一套学习算法即可解决多种不同的任务。定义一个模型的可学习参数θ,面对不同的任务,可以通过改变参数θ的值来解决相应的任务。而参数θ的值可以通过元学习器去学习,在面对不同任务的时候,根据损失函数通过梯度下降的方法不断地更新θ值,使这个模型不断向能解决这个任务的模型靠近,当θ值最终收敛时,我们认为元学习器学习到了一个较好的参数θ,让模型自适应地解决相应任务。这个算法是十分高效地,因为它没有为学习器引入其他的参数,并且训练学习器的策略使用的是已知的优化过程(如梯度下降等)而不是从头开始构建一个。

在此推荐两篇有关论文:

  • 2017-《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》
  • 2018 - arXiv - 《Task-Agnostic Meta-Learning for Few-shotLearning》

后一篇是在前一篇的基础上进行的相关扩展。

基于优化的元学习

在样本量较少的任务中,通常的一些学习器会因为样本较少出现过拟合的现象,同时在训练过程中,为了达到一个较好的效果,学习器通常会训练迭代百万甚至千万次才能够收敛。这些问题不仅影响了学习器的性能,也影响了效率。我们在元学习器中采用了LSTM网络,使用任务中少量的已标记样本,通过元学习器来优化更新学习器的初始化参数,让学习器在面对相应任务的时候,能够仅用少量的样本,同时较快收敛,达到快速学习解决任务的目的。

(怎么在元学习中采用LSTM网络)

在此推荐一篇论文

扫描二维码关注公众号,回复: 10281941 查看本文章

2017-ICLR-《Optimization as a model for few-shot learning》(论文训练了一个长短期记忆网络(LSTM))

最前沿:百家争鸣的Meta Learning/Learning to learn

知乎:meta learning

发布了221 篇原创文章 · 获赞 123 · 访问量 19万+

猜你喜欢

转载自blog.csdn.net/weixin_41803874/article/details/89314410