目录
人工神经网络
- 人工神经网络是一个并行、分布式处理结构，由处理 单元及其称为联接的无向通道互连而成。
- 这些处理单元具有局部内存，可以完成局部操作，该 操作由输入至该单元的信号值和存储在该单元中的信 号值来确定。
- 每个处理单元有一个单一的输出联接，输出信号可以 是任何需要的数学模型。
是一种模仿生物神经网络的结构和功能的数学模型或计算模型。
Rumelhart等提出多层网络的学习算法—BP算法(1986)
加拿大多伦多大学教授，机器学习领域的泰斗 Geoffery Hinton 及其学生 Ruslan Salakhutdinov 在《科学》上发 表了一篇论文开启了深度学习在学术界和工业界的新浪潮！
深度学习：可整合大量能够基于相同方式训练 的模块和组件，并构建拥有学习能力的机器。
传统机器学习与深度学习主要区别：特征提取。
人工神经元
处
理单元
的
功能
–对每个输入信号进行加权处理（确定其强度）；
–确定所有输入信号的组合效果（求和）；
–确定其输出（转移特性，即激励特性）；
拓扑结构
单
层网络
–
输入信号表示为向量：
x
=
[
x
1
,
x
2
,
…,
x
d
]
T
，其中每一 分量通过加权连接到各个结
点
。
–
每一个结点均可产生一个加权
和
。
–
输入和结点间采用全连
接
，
并且都是前馈连
接
。
实际
的人
工神
经网
络和
生物
神经
网络
中有
些连
接 可能不存在。
单层网络
将偏移（阈值）当成权值。
多层网络
虽然目前有很多网络模型，但它们的结点基本上都是 按层排列的。这一点模仿了大脑皮层中的网络模块。
–多层网络是由单层网络进行级联构成的，即上一层的 输出作为下一层的输入。
接收输入信号的层称为输入层。
–产生输出信号的层称为输出层。
–中间层称为隐含层，不直接与外部环境打交道。
隐含层的层数可从零到若干
层。
实际情况中，层与层之间可能有部分连接的情
况。
–接收输入信号的层称为输入层。
–产生输出信号的层称为输出层。
–中间层称为隐含层，不直接与外部环境打交道。
隐含层的层数可从零到若干
层。
实际情况中，层与层之间可能有部分连接的情
况
。
网络训练
任
务：
–
给定
n
个观测数据
{
x
k
}
，
训练网络的各层结点之间的 连接权重
w
ij
(
含偏置项
)
–
训练：相继加入训练样
本
，
并按预定规则调整网
络
各
权重
。
有
监督的
训
练
–
希望
训
练
这
样一
个
网
络
，对
每
个
训
练数
据，
通
过该
网 络计算之后
能尽可能输出其原先给定的
值
。
无
监督训练
–无监督的训练不要求有目标向量，网络通过自身的“经历”来学会某种功能。
–其目的是训练一个网络，使其产生的输出具有某种可 理解的规律性。
–从本质上讲，该训练过程是抽取样本所隐含的统计特征。