浮点数表示简介
浮点数的设计允许表示范围广泛的数值,同时保持一定的精度。浮点数表示的基本公式为:
在深度学习中,常见的浮点数格式有:float32(FP32)、float16(FP16)和bfloat16(BF16)。每种格式的具体特性如下:
格式 | 总位数 | 符号位 | 指数位数 | 尾数位数 | 精度 | 计算成本 |
FP32 |
浮点数的设计允许表示范围广泛的数值,同时保持一定的精度。浮点数表示的基本公式为:
在深度学习中,常见的浮点数格式有:float32(FP32)、float16(FP16)和bfloat16(BF16)。每种格式的具体特性如下:
格式 | 总位数 | 符号位 | 指数位数 | 尾数位数 | 精度 | 计算成本 |
FP32 |