1. 神经元的抽象模型

在这里插入图片描述

Each input i transmits a real value ai
Each connection is assigned with the weight wij
The sum of the products of the inputs with the corresponding weights
Threshold (equal to 0 in this case)
Outcome Xi is produced by comparing the weighted sum with the threshold.

2. The McCulloch-Pitts Neuron （M-P)

2.1 基本概念

A binary discrete-time element;
With excitatory and inhibitory inputs and an excitation threshold;
The network of such elements was the first model to tie the study of neural networks to the idea of computation in its modern sense.

2.2 模型与算法

在这里插入图片描述

Input values
a_i^t from the i-thpresynaptic neuron at any instant t maybe equal either to 0 or 1 only
Weight
+1 forexcitatory type connectionand
-1 forinhibitorytype connection
Excitation Threshold
There is an excitation threshold θ associated with the neuron
兴奋阈值代表大于自己有输出
Output x^t+1
Instant state of the neuron
Call the instant total input S^t (t 时刻的加权和)

和之一神经元之前的状态无关
Output
The neuron output x^t+1 is function of its state S^t, therefore the output also can be written as function of discrete time.

where g is the threshold activation function 阈值激活函数

与相同
同时在这里 H is the Heaviside (unit step) 海维赛德函数或者单位阶跃函数 function:

所以在这里激活函数为阶跃函数可以从输出性质看出

2.3 M-P Neural 实现的功能

storing information
producing logical and arithmetical operations

相对与人脑的

to store knowledge
to apply the knowledge stored to solve problems

实现存储信息的起始是Instant State 即加权和但是对于神经网络来说其实是权重
实现逻辑以及算数操作的其实是激活函数也是其引入非线性

2.4 M-P 所面临的学习问题

Some easily changeable free parameters are needed
In a network of MP-neurons, binary weights of
connections and thresholds are fixed. The only
change can be the change of pattern of connections,
which is technically expensive.

3. ANN Learning Algorithm (初步)

3.1 Defination

How to adjust the weights of connections to get desirable output.
Much work in artificial neural networks focuses on the learning rules that define: How to change the weights of connections between neurons to better adapt a network to serve some overall function.-曲线拟合

3.2 Hebb’s Rule

巴甫洛夫的条件反射实验
每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。
赫布假说：
受该实验的启发，Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。
我们可以假定，反射活动的持续与重复会导致神经元稳定性的持久性提升……当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时，这两个神经元或其中一个便会发生某些生长过程或代谢变化，致使A作为能使B兴奋的细胞之一，它的效能增强了。
但是，这个解释并不完整，赫布强调说，神经元"A"必须对神经元"B"的激发“作出了一定贡献”，因此，神经元"A"的激发必须在神经元"B"之先，而不能同时激发。赫布理论中的这一部分研究，后来被称作STDP，表明 突触可塑性需要一定的时间延迟 。赫布理论可以用于解释“联合学习”（associative learning） ，在这种学习中，由对神经元的重复刺激，使得神经元之间的突触强度增加。这样的学习方法被称为赫布型学习（Hebbian learning）。赫布理论也成为了非监督学习的生物学基础。
可总结为同时激发的神经元间的联系会不断加强，而总是不能同时激发的神经元间的联系会不断变弱
Simplest Formalization of Hebb’s Rule

其中 W_ij 表示神经元j到神经元i的连接权，y_i与y_j表示两个神经元的输出，C是表示学习速率的常数