深度学习基础--DL原理研究1

DL的原理研究

  深度网络是手段,特征学习是目的

  任何一种方法,特征越多,给出的参考信息就越多,准确性会得到提升。但特征多意味着计算复杂,探索的空间大,可以用来训练的数据在每个特征上就会稀疏,都会带来各种问题,并不一定特征越多越好。

基本思想

  形象地表示为: I =>S1=>S2=>……=>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失,保持了不变,这意味着输入I经过每一层Si都没有任何的信息损失,即在任何一层Si,它都是原有信息(即输入I)的另外一种表示。
  另外,前面是假设输出严格地等于输入,这个限制太严格,我们可以略微地放松这个限制,例如我们只要使得输入与输出的差别尽可能地小即可,这个放松会导致另外一类不同的Deep Learning方法。
  因此,“深度模型”是手段,“特征学习”是目的。

猜你喜欢

转载自blog.csdn.net/wydbyxr/article/details/83651240