实现反向传播

现在我们知道输出层的误差是

δ​k​​=(y​k​​−y_​​​k​​)f​′​​(a_​k​​)

隐藏层误差是

[图片上传失败...(image-a4330a-1519137685856)]

现在我们只考虑一个简单神经网络，它只有一个隐藏层和一个输出节点。这是通过反向传播更新权重的算法概述：

• 把每一层权重更新的初始步长设置为 0

• 输入到隐藏层的权重更新是 Δw​ij​​=0
• 隐藏层到输出层的权重更新是 ΔW​j​​=0

• 对训练数据当中的每一个点

• 让它正向通过网络，计算输出 ​y​^​​
• 计算输出节点的误差梯度 δ​o​​=(y−​y​^​​)f​′​​(z) 这里 z=∑​j​​W​j​​a​j​​ 是输出节点的输入。
• 误差传播到隐藏层 δ​j​h​​=δ​o​​W​j​​f​′​​(h​j​​)
• 更新权重步长：
  ΔW​j​​=ΔW​j​​+δ​o​​a​j​​
  Δw​ij​​=Δw​ij​​+δ​j​h​​a​i​​

• 更新权重, 其中 η 是学习率，m 是数据点的数量：
  W​j​​=W​j​​+ηΔW​j​​/m
  w​ij​​=w​ij​​+ηΔw​ij​​/m

• 重复这个过程 e 代。

反向传播练习

现在你来实现一个通过反向传播训练的神经网络，数据集就是之前的研究生院录取数据。通过前面所学你现在有能力完成这个练习：

• 你的目标是：

实现一个正向传播
实现反向传播算法
更新权重

uare error on the training set
if e % (epochs / 10) == 0:
  hidden_output = sigmoid(np.dot(x, weights_input_hidden))
  out = sigmoid(np.dot(hidden_output,
        weights_hidden_output))
  loss = np.mean((out - targets) ** 2)

  if last_loss and last_loss < loss:
   print("Train loss: ", loss, " WARNING - Loss Increasing")
  else:
      print("Train loss: ", loss)
      last_loss = loss

# Calculate accuracy on tesimport numpy as np
from data_prep import features, targets, features_test, targets_test

np.random.seed(21)

def sigmoid(x):
"""
 Calculate sigmoid
 """
return 1 / (1 + np.exp(-x))

# Hyperparameters
n_hidden = 2 # number of hidden units
epochs = 900
learnrate = 0.005

n_records, n_features = features.shape
last_loss = None
# Initialize weights