基于Python的自然语言处理系列(51):Weight Quantization

浮点数表示简介

        浮点数的设计允许表示范围广泛的数值,同时保持一定的精度。浮点数表示的基本公式为:

        在深度学习中,常见的浮点数格式有:float32(FP32)、float16(FP16)和bfloat16(BF16)。每种格式的具体特性如下:

格式 总位数 符号位 指数位数 尾数位数 精度 计算成本
FP32

猜你喜欢

转载自blog.csdn.net/ljd939952281/article/details/143345484
今日推荐