bfloat16 是一种浮点数数据类型，全称是 Brain Floating Point 16。它是一种 16 位的浮点数格式，专为提高计算性能而设计，特别是在机器学习、深度学习中的加速训练过程中有广泛应用。
与标准的 16 位浮点数（float16）相比，bfloat16 在表示数值范围上做了一些权衡。它保留了和 32 位浮点数（float32）相同的指数范围，但精度较低。具体区别如下：
bfloat16 的结构
- bfloat16 (16 bits):
- 1 位用于符号（Sign）
- 8 位用于指数（Exponent），与
float32一致 - 7 位用于尾数（Mantissa），相比
float32的 23 位减少了很多
float16 的结构
- float16 (16 bits):
- 1 位符号位（Sign）
- 5 位指数位（Exponent）
- 10 位尾数位（Mantissa）
bfloat16 vs float16 vs float32
| 数据类型 | 符号位 | 指数位 | 尾数位 | 数值范围 | 精度 |
|---|---|---|---|---|---|
| bfloat16 | 1 | 8 | 7 | 与 float32 相同 | 精度较低 |
| float16 | 1 | 5 | 10 | 数值范围较小 | 精度高于 bfloat16 |
| float32 | 1 | 8 | 23 | 数值范围大 | 精度高 |
bfloat16 的优势
- 更大范围：
bfloat16和float32的指数位相同，因此能够表示与float32相同的数值范围。这对于深度学习中的数值稳定性非常重要，避免了很多溢出问题。 - 节省内存和提高计算效率：由于尾数位减少，
bfloat16占用内存只有float32的一半，且在很多硬件（如 TPU、部分 GPU）上，可以更快地进行矩阵运算或其他计算。 - 适合深度学习训练：虽然精度不如
float32，但在神经网络的训练中，bfloat16通常可以提供足够的精度，并且显著提高了训练速度。
fp8
fp8 是一种新的浮点数格式，全称是 Floating Point 8-bit，表示采用 8 位存储的浮点数数据类型。fp8 是为了进一步减少内存占用和加速计算而设计的，特别是在深度学习中的训练和推理过程中有潜在的应用。虽然这种格式的位数比 bfloat16 和 float16 更少，但它可以通过专门的硬件支持来提升性能。
fp8 主要有两种常见的变体，分别是 E4M3 和 E5M2，它们的结构有所不同，适用于不同的场景。
fp8 的结构
- E4M3 (8 bits):
- 1 位符号位（Sign）
- 4 位指数位（Exponent）
- 3 位尾数位（Mantissa）
- E5M2 (8 bits):
- 1 位符号位（Sign）
- 5 位指数位（Exponent）
- 2 位尾数位（Mantissa）
详细解释：
- 符号位（Sign）：1 位，表示数值的正负。
- 指数位（Exponent）：决定浮点数的范围，指数位越多，可以表示的数值范围越大。
- 尾数位（Mantissa）：决定精度，尾数位越多，表示的数值精度越高。
fp8 的变体差异
- E4M3：指数位较少（4 位），适合在数值范围相对较小的情况下使用，但有 3 位尾数可以提供相对较高的精度。它适用于某些神经网络中不需要大范围数值但需要一些精度的场景。
- E5M2：指数位更多（5 位），可以表示更大的数值范围，但尾数位较少（2 位），精度较低。适合需要更大数值范围的场景，但对精度要求不高。
fp8 的优势
- 更低的内存占用：
fp8仅使用 8 位存储单个浮点数，相比float32（32 位）和float16（16 位），大幅节省了内存开销，这在处理超大规模模型时特别有优势。 - 提高计算速度：由于数据位宽更小，硬件可以同时处理更多数据，大大加速计算过程。这对于深度学习中的训练和推理来说，可以显著提高效率。
- 适合硬件加速：新型硬件如 NVIDIA Hopper GPU 和部分 TPU 已经开始支持
fp8计算，优化了fp8运算的速度和效率。
使用场景
fp8适合那些对精度要求相对较低、但希望获得更快速度和更少内存消耗的场景。尤其是在深度学习中的某些训练阶段和推理过程中，fp8可以显著提升性能。它的引入主要是为了进一步优化现有的浮点数格式（如float16、bfloat16），在计算效率和内存之间取得平衡。