AI模型中的激活函数解析

目录

• 引言
• 为何线性操作后需要激活函数
• 激活函数解决的核心问题
• 大模型中的激活函数区别
• 案例代码及解释
• 总结

---

引言

在神经网络中，激活函数是线性变换后的非线性操作核心组件。它的存在使得神经网络能够逼近任意复杂函数。本文将探讨激活函数的作用、大模型中的差异，并通过代码示例验证其重要性。

---

为何线性操作后需要激活函数

数学视角

神经网络的单层计算可表示为：
$$\mathbf{y}=W\mathbf{x}+\mathbf{b}$$
其中 $W$ 是权重矩阵，$\mathbf{b}$ 是偏置向量。若堆叠多层且无激活函数，整体计算退化为：
$$\mathbf{y}=W_3(W_2(W_1\mathbf{x}+{\mathbf{b}}_1)+{\mathbf{b}}_2)+{\mathbf{b}}_3=W_{\text{等效}}\mathbf{x}+{\mathbf{b}}_{\text{等效}}$$
结论：多层线性变换等效于单层，丧失深度表达能力。

---

激活函数解决的核心问题

1. 引入非线性：使网络能够拟合非线性决策边界（如 XOR 问题）。
2. 增强表征能力：通过非线性组合特征，提升模型复杂度。
3. 梯度传播控制：缓解梯度消失/爆炸问题（如 ReLU 在正值区梯度恒定）。

---

大模型中的激活函数区别

激活函数	特点	适用场景	大模型案例
ReLU	计算高效，缓解梯度消失	CNN、浅层网络	ResNet
GELU	平滑非线性，概率化门控	Transformer 类模型	GPT、BERT
Swish	自门控，实验性能优	搜索网络架构	EfficientNet

GELU 公式

$$\text{GELU}(x)=x\cdot \Phi (x)\approx 0.5x\left(1+\tanh \left(\sqrt{\frac{2}{\pi }}(x+0.044715x^3)\right)\right)$$
其中 $\Phi (x)$ 是标准正态分布累积函数，实际实现使用近似计算。

大模型选择原因：

• 平滑性：GELU 的连续导数更适合深层梯度传播。
• 概率门控：通过输入的概率分布动态调整激活强度，提升 Transformer 的注意力机制稳定性。

---

案例代码及解释

1. 激活函数效果对比（PyTorch）

import torch
import torch.nn as nn

# 定义输入
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])

# 应用不同激活函数
relu = nn.ReLU()(x)
gelu = nn.GELU()(x)
sigmoid = nn.Sigmoid()(x)

print(f"ReLU:\t{
      
      relu}\nGELU:\t{
      
      gelu}\nSigmoid:{
      
      sigmoid}")

输出：

ReLU:   tensor([0., 0., 0., 1., 2.])
GELU:   tensor([-0.0455, -0.1587,  0.0000,  0.8413,  1.9545])
Sigmoid:tensor([0.1192, 0.2689, 0.5000, 0.7311, 0.8808])

解释：

• ReLU 对负值完全抑制，导致稀疏激活。
• GELU 允许负值有小幅度通过（如 -1.0 → -0.1587），保留更多信息。
• Sigmoid 将输出压缩到 (0,1)，适合概率输出但易导致梯度消失。

---

2. 无激活函数 vs 有激活函数（参数与表达能力）

# 定义模型
model_linear = nn.Sequential(
    nn.Linear(2, 4),  # 参数: 2*4 + 4 = 12
    nn.Linear(4, 4),  # 参数: 4*4 + 4 = 20
    nn.Linear(4, 1)   # 参数: 4*1 + 1 = 5 → 总计 37
)

model_nonlinear = nn.Sequential(
    nn.Linear(2, 4),
    nn.ReLU(),        # 引入非线性
    nn.Linear(4, 4),
    nn.ReLU(),
    nn.Linear(4, 1)
)

print("无激活函数参数量:", sum(p.numel() for p in model_linear.parameters()))
print("有激活函数参数量:", sum(p.numel() for p in model_nonlinear.parameters()))

输出：

无激活函数参数量: 37
有激活函数参数量: 37

解释：

• 参数量相同，但 model_nonlinear 可学习非线性决策边界。
• 无激活函数时，模型等效于单层 $W_{\text{等效}}\in {\mathbb{R}}^{2\times 1}$，表达能力受限。

---

总结

• 必要性：激活函数打破线性叠加，使网络能逼近任意函数。
• 大模型趋势：GELU/Swish 在 Transformer 中表现更优，ReLU 仍广泛用于 CNN。
• 实践建议：
  • 小模型：优先使用 ReLU（计算高效）。
  • 大语言模型：选择 GELU（如 BERT）。
  • 自动架构搜索：尝试 Swish（如 EfficientNet）。