python——numpy与pandas文件存取

NumPy是python的专用数组,底层是C语言实现的,节省内存,开发效率高。而Pandas则是一款功能强大的数据分析工具,是为处理表格数据而生的。

 

一:numpy文件的存取

     NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。

一,tofile()和fromfile()

    • tofile()将数组中的数据以二进制格式写进文件
    • tofile()输出的数据不保存数组形状和元素类型等信息
    • fromfile()函数读回数据时需要用户指定元素类型,并对数组的形状进行适当的修改

image

       从上面的例子可以看出,在读入数据时:需要正确设置dtype参数,并修改数组的shape属性才能得到和原始数据一致的结果。无论数据的排列顺序是C语言格式还是Fortran语言格式,tofile()都统一使用C语言格式输出。此外如果指定了sep参数,则fromfile()和tofile()将以文本格式对数组进行输入输出。sep参数指定的是文本数据中数值的分隔符。

二.save()和load()

  1. NumPy专用的二进制格式保存数据,它们会自动处理元素类型和形状等信息
  2. 如果想将多个数组保存到一个文件中,可以使用savez()
  3. savez()的第一个参数是文件名,其后的参数都是需要保存的数组,也可以使用关键字参数为数组起名
  4. 非关键字参数传递的数组会自动起名为arr_0、arr_1、...。
  5. savez()输出的是一个扩展名为npz的压缩文件,其中每个文件都是一个save()保存的npy文件,文件名和数组名相同
  6. load()自动识别npz文件,并且返回一个类似于字典的对象,可以通过数组名作为键获取数组的内容

image

image

三.savetxt()和loadtxt()

  • 读写1维和2维数组的文本文件
  • 可以用它们读写CSV格式的文本文件

image

image

image

四.文件对象file

image

二:pandas文件存取

数据结构:pandas给人的感觉就是自带索引,所以查找的效率是比较高的呃。在使用pandas的时候要时刻记着它是一张表,就可以创建,增删改查等操作。也可以结合数据库中的表项来理解。

  1. from pandas import *  
  2. from random import *  
  3. df = DataFrame(columns=('lib', 'qty1', 'qty2'))#生成空的pandas表  

Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近,其区别是:List中的元素可以是不同的数据类型,而Array和Series中则只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。

Time- Series:以时间为索引的Series。

DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。

Panel :三维的数组,可以理解为DataFrame的容器。

Pandas 有两种自己独有的基本数据结构。读者应该注意的是,它固然有着两种数据结构,因为它依然是 Python 的一个库,所以,Python 中有的数据类型在这里依然适用,也同样还可以使用类自己定义数据类型。只不过,Pandas 里面又定义了两种数据类型:Series 和 DataFrame,它们让数据操作更简单了。

一、读取文本格式数据

注:索引:将一个或者多个列返回dataframe来处理,获取列名;类型推断和数据转换:用户定义值得转换,缺失值的标记等;日期解析:包括组合功能,比如将分散在多个列中的日期数据组合成单个列;迭代:支持大文件逐块迭代,而不是一次性读取;不规整数据问题:可以跳过,清洗。

二、示例操作

猜你喜欢

转载自blog.csdn.net/cuomer/article/details/81162914