BP 神经网络 —— 逆向传播的艺术 - 张磊的文章 - 知乎 https://zhuanlan.zhihu.com/p/36711903
超级推荐这篇文章，写得非常通透！
BP神经网络的思想就是考虑如何利用神经网络参数W，使得经过神经网络模型的输出 尽可能地接近期望输出
.
因此有一个损失函数（loss function）用来描述测量值和实际值之间的关系，这个损失函数要根据神经元模型具体设计。
根据梯度下降算法的原理，用来替换x，不断迭代，最终会找到一个符合误差条件的解。
那么在BP神经网络里面，用来替换w，最终也可以找到满足我们要求的一套参数，因为L与w之间一般没有直接的关系，
需要链式求导法则变换一下才得到。
那么可以利用BP神经网络做什么呢？
因为利用BP网络可以建立对象的结构模型，所以分类和预测问题是神经网络最常见的一种应用。举几个例子：根据商店前几年某商品的销量建立模型，用来预测今年的销量，提前备货；根据电影的关键词给电影分类（动作、爱情、悬疑....）；建立数字/字母模型来识别车牌等。
百度百科中总结的应用类型有以下四个方面：
1)函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。
2)模式识别：用一个待定的输出向量将它与输入向量联系起来。
3)分类：把输入向量所定义的合适方式进行分类。
4)数据压缩：减少输出向量维数以便于传输或存储。