【记录】一个坑,数据精度的问题

1)问题描述:

 在python中进行高精度的数据计算会出现错误;例如:

但是这并不是python语言的错,而是计算机本身的字节限制,由于计算机只能提供15位数字的准确性,最后一位由计算机根据二进制计算结果确定,存在误差,所以浮点数无法进行高精度的计算

2)解决办法

查看python3.4.1文档,发现对于decimal模块的讲解非常多,由此可见其功能也很强大。

使用decimal可以进行高精度的浮点浮点数运算。Decimal类型是在浮点类型的基础上设计的,但是它在几个地方上要优于floating point:


1)Decimal类型可以非常精确地在计算机中存储,浮点型在计算机中是无法精确存储的,比如1.1和2.2在计算机中存储后,运算(1.1+2.2)表达式的值结果会是3.3000000000000003;Decimal类型则不会出现这种情况。同样,由于无法精确存储,浮点型也就无法精确计算(相对于Decimal类型),可以再测试(0.1+0.1+0.1-0.3)两种类型的计算结果。


2)Decimal类型会自动保留小数点后面不需要的0,以与输入的精度相匹配,比如下面小程序中的例子:浮点型的1.20+1.30结果是2.5;而Decima

猜你喜欢

转载自blog.csdn.net/Finks_Chen/article/details/104776176