Relu激活函数

线性整流单元

原函数

$f(x) = \begin{cases} 0 & \text{for } x < 0\\ x & \text{for } x \ge 0\end{cases}$

导数

$f'(x) = \begin{cases} 0 & \text{for } x < 0\\ 1 & \text{for } x \ge 0\end{cases}$

在神经元中，x 可以作为 $w^Tx + b$ 输入。既： $max(0, w^Tx + b)$

ReLu 一般作用：

大多数输出层
在不确定使用那个激活函数的情况下
隐含层也可以用到

优点：

比其他激活函数学习更快
不会产生梯度消失

缺点：

有些神经元会出现坏死现象，永远不会激活（可以使用 Leaky ReLu )
不会对数据进行压缩，会随着模型的层数增加而扩大

注意: 负 x 轴，两个函数都是 0 值，红色线代表原函数 $max(0,x)$ , 蓝色线代表导数

可视化代码实现：

import math
import matplotlib.pyplot as plt
import numpy as np
import mpl_toolkits.axisartist as axisartist

# Relu 以类实现
class Relu:
    # 原函数
    def forward(self, w_input):
        return max(0.0, w_input)
    # 导数
    def backward(self, output):
        if output > 0.0:
            return 1
        else:
            return 0

# 画图
def Axis(fig, ax):
    #将绘图区对象添加到画布中
    fig.add_axes(ax)
    # 隐藏坐标抽
    ax.axis[:].set_visible(False)
    # new_floating_axis 创建新的坐标
    ax.axis["x"] = ax.new_floating_axis(0, 0)
    # 给 x 轴创建箭头线，大小为1.0
    ax.axis["x"].set_axisline_style("->", size = 1.0)
    # 给 x 轴箭头指向方向
    ax.axis["x"].set_axis_direction("top")
    # 同理，创建 y 轴
    ax.axis["y"] = ax.new_floating_axis(1, 0)
    ax.axis["y"].set_axisline_style("->", size = 1.0)
    ax.axis["y"].set_axis_direction("right")

# 返回间隔均匀的100个样本，计算间隔为[start, stop]。
x =  np.linspace(-5, 5, 100)
y_forward = []
y_backward = []

def get_list_forward(x):
    for i in range(len(x)):
        y_forward.append(Relu().forward(x[i]))
    return y_forward

def get_list_backward(x):
    for i in range(len(x)):
        y_backward.append(Relu().backward(x[i]))
    return y_backward
    
y_forward = get_list_forward(x)
y_backward = get_list_backward(x)

#创建画布
fig = plt.figure(figsize=(12, 12))

#创建绘图对象ax
ax = axisartist.Subplot(fig, 111)
Axis(fig, ax)

# 设置x, y轴范围
plt.ylim((-5, 5))
plt.xlim((-5, 5))

# 原函数，forward function
plt.plot(x, y_forward, color='red', label='forward function')
plt.legend()

# 导数， backward function
plt.plot(x, y_backward, label='backward function')
plt.legend()

plt.show()

猜你喜欢