【pickle】python保存任何类型的中间结果

用python处理数据的过程中，经常涉及计算量相对较大但是不太变动的中间结果。如果每次想拿到这个中间结果就跑一遍计算的话，会非常浪费时间(比如预处理的训练数据)。这个时候会思考，如果有种便捷的方法来保存这些中间结果，就不用进行反复计算了。

对于str类型或者简单的list类型的中间结果，我们可以直接用txt文件保存；对于dict类型的中间结果，我们可以用json保存。But, 如果中间结果是特殊的类呢？甚至是你自己构建的类。它可能有很复杂的逻辑关系，并不一定是序列形式的。对于这种中间结果怎么保存呢？

那么pickle就来了。pickle可以保存任何形式的中间结果。它可以直接以二进制保存。直接看例子：

import pickle

class idol:
    def __init__(self, sing, dance, rap, basketball):
        self.sing = sing
        self.dance = dance
        self.rap = rap
        self.basketball = basketball

cxk = idol(10, 10, 10, 10)
f = open('cxk.pkl', 'wb')
content = pickle.dumps(cxk)
f.write(content)
f.close()

先将中间数据cxk降级为没有逻辑结构的binary，再写到pickle文件中。

读取如下：

import pickle

class idol:
    def __init__(self, sing, dance, rap, basketball):
        self.sing = sing
        self.dance = dance
        self.rap = rap
        self.basketball = basketball

f = open('cxk.pkl', 'rb')
cxk = pickle.loads(f.read())
f.close()
print(cxk.basketball)

pickle是支持类的list保存的，可以应对大规模数据集。

保存class list：

import pickle
class idol:
    def __init__(self, sing, dance, rap, basketball):
        self.sing = sing
        self.dance = dance
        self.rap = rap
        self.basketball = basketball

cxk = idol(10, 10, 10, 10)
ls = [cxk, cxk]
f = open('cxk_list.pkl', 'wb')
content = pickle.dumps(ls)
f.write(content)
f.close()

读取list中的类：

import pickle
class idol:
    def __init__(self, sing, dance, rap, basketball):
        self.sing = sing
        self.dance = dance
        self.rap = rap
        self.basketball = basketball
f = open('cxk_list.pkl', 'rb')
cxk = pickle.loads(f.read())
f.close()
print(cxk[0].basketball)

这是非常实用的trick~

【pickle】python保存任何类型的中间结果

猜你喜欢