python – Pickle dump Pandas DataFrame

发布时间：2020-12-20 11:53:05 所属栏目：Python 来源：网络整理

导读：这是一个懒惰的人的问题. 我有400万行pandas DataFrame,并希望将它们保存到较小的pickle文件块中. 为什么小块？更快地保存/加载它们. 我的问题是： 1)有没有更好的方法(内置功能)将它们保存在较小的部分而不是使用np.array_split手动分块？ 2)除了手动将它

这是一个懒惰的人的问题.

我有400万行pandas DataFrame,并希望将它们保存到较小的pickle文件块中.

为什么小块？
更快地保存/加载它们.

我的问题是：
1)有没有更好的方法(内置功能)将它们保存在较小的部分而不是使用np.array_split手动分块？

2)除了手动将它们粘在一起之外,有什么方法可以将它们粘在一起吗？

除了泡菜之外,请随意推荐适合此工作的任何其他数据类型.

解决方法

我一直在使用这个数据框大小为7,000,000 x 250

使用hdfs DOCUMENTATION

df = pd.DataFrame(np.random.rand(5,5))
df

enter image description here

df.to_hdf('myrandomstore.h5','this_df',append=False,complib='blosc',complevel=9)

new_df = pd.read_hdf('myrandomstore.h5','this_df')
new_df

enter image description here

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!