中英双语面试、笔试题 - 计算机视觉 (2) : PyTorch与神经网络基础-Computer Vision Interview (2): PyTorch and Neural Networks

---

1.为什么要在训练期间将整数输入转换为浮点值?

因为 nn.Linear(和几乎所有的torch层)只接受浮点数作为输入。

在训练神经网络时，将整数输入转换为浮点值是一个常见的做法，主要原因如下：

1. 数值稳定性

• 浮点数精度更高：浮点数（如float32或float64）比整数（如int32或int64）具有更高的精度。在进行复杂的数学运算（如矩阵乘法、激活函数等）时，高精度可以减少数值误差，提高计算的稳定性。
• 避免溢出：在某些情况下，整数运算可能会导致溢出，特别是在进行大数乘法或累加操作时。浮点数可以更好地处理这种情况，减少溢出的风险。

2. 优化算法的需求

• 梯度计算：大多数优化算法（如梯度下降）需要计算梯度，而梯度计算通常涉及浮点数运算。将输入转换为浮点数可以确保梯度计算的准确性和稳定性。
• 激活函数和损失