卷积神经网络（CNN）、循环神经网络（RNN）、深度神经网络（DNN）、基本神经网络
| 特性/网络类型 | 卷积神经网络 (CNN) | 循环神经网络 (RNN) | 深度神经网络 (DNN) | 基本神经网络 |
|---|---|---|---|---|
| 基本结构 | 由卷积层、池化层和全连接层组成。 | 由循环单元组成，能够处理序列数据。 | 包含多个隐藏层的神经网络。 | 通常包含输入层、隐藏层和输出层。 |
| 主要应用 | 图像识别、视频分析、图像生成等视觉任务。 | 语言建模、时间序列分析、自然语言处理等序列任务。 | 语音识别、游戏AI、复杂决策系统等。 | 简单的分类和回归任务。 |
| 关键优势 | 能够自动提取空间特征，适合处理图像数据。 | 能够处理时间序列数据，捕捉时间依赖性。 | 能够学习数据的深层特征表示。 | 结构简单，易于理解和实现。 |
| 关键劣势 | 对于非视觉任务效果不佳。 | 难以处理长期依赖关系，训练可能不稳定。 | 需要大量数据和计算资源。 | 无法捕捉复杂的非线性关系。 |
| 参数数量 | 相对较多，但通过权重共享减少参数数量。 | 可能非常多，尤其是对于长序列。 | 通常很多，因为层数深。 | 较少，尤其是对于浅层网络。 |
| 计算资源 | 高，尤其是在训练大型CNN时。 | 高，因为需要处理序列数据。 | 高，尤其是对于深层网络。 | 相对较低。 |
| 训练难度 | 中等，可以使用预训练模型和数据增强技术。 | 高，可能需要特殊的训练技巧如梯度裁剪。 | 中等到高，取决于网络的深度和复杂性。 | 低到中等。 |
| 代表性模型 | VGGNet, ResNet, Inception等。 | LSTM, GRU等。 | AlexNet, GoogLeNet, DenseNet等。 | MLP (多层感知机)。 |
局部最优
神经网络陷入局部最优（local optima）是指在训练过程中，模型的损失函数（loss function）达到一个较低的值，但这个值并不是全局最低点，也就是说模型没有找到最佳的权重配置来最小化损失函数。在这种情况下，模型的性能可能无法达到理论上的最高水平。
以下是一些可能导致神经网络陷入局部最优的情况：
1. 学习率设置不当
- 如果学习率设置得过高，模型可能会在最优解附近震荡，而无法收敛到最低点。
- 如果学习率设置得过低，模型可能会在达到局部最优解后停止进一步学习，因为权重更新的幅度太小。
2. 梯度消失或梯度爆炸
- 在深层网络中，梯度消失或梯度爆炸可能导致权重更新不充分，使得模型无法逃离局部最优解。
3. 复杂的损失表面
- 神经网络的损失函数通常具有复杂的表面，包含多个局部最小值。模型可能很容易陷入这些局部最小值之一。
4. 权重初始化不佳
- 不适当的权重初始化可能导致模型在训练初期就陷入局部最优解。
5. 训练数据不足或质量差
- 如果训练数据不足或包含噪声，模型可能无法学习到足够的特征来找到全局最优解。
6. 优化算法的选择
- 使用的优化算法可能不适合当前的问题。例如，某些算法可能更容易陷入局部最优解。
为了减少陷入局部最优的可能性，可以采取以下措施：
- 学习率调整：使用学习率衰减或自适应学习率优化器（如Adam、RMSprop）。
- 权重初始化：使用He初始化或Xavier初始化等策略来改善权重的初始分布。
- 正则化：应用L1、L2正则化或Dropout来减少过拟合，有时也能帮助模型跳出局部最优。
- 批量归一化：在层之间使用批量归一化可以加速训练过程，减少局部最优的影响。
- 更好的初始化和预训练：使用预训练模型或更好的初始化策略。
- 早停法：在验证集上的性能不再提升时停止训练，以避免过拟合。
- 数据增强：通过旋转、缩放、裁剪等方法增加数据的多样性，提高模型的泛化能力。
总的来说，神经网络陷入局部最优是一个复杂的问题，需要通过多种策略和实验来解决。