scala – Python：将pandas数据框保存到镶木地板文件中

发布时间：2020-12-16 19:00:09 所属栏目：安全来源：网络整理

导读：是否可以将pandas数据框直接保存到镶木地板文件中？如果没有,建议的过程是什么？目的是能够将镶木地板文件发送给另一个团队,他们可以使用scala代码来读取/打开它.谢谢！解决方法有一个名为fastparquet的软件包的相对较早的实现 – 它可能是您需要的一个

是否可以将pandas数据框直接保存到镶木地板文件中？
如果没有,建议的过程是什么？

目的是能够将镶木地板文件发送给另一个团队,他们可以使用scala代码来读取/打开它.谢谢！

有一个名为fastparquet的软件包的相对较早的实现 – 它可能是您需要的一个很好的用例.

https://github.com/dask/fastparquet

conda install -c conda-forge fastparquet

要么

pip install fastparquet

from fastparquet import write 
write('outfile.parq',df)

或者,如果您想使用某些文件选项,例如行分组/压缩：

write('outfile2.parq',df,row_group_offsets=[0,10000,20000],compression='GZIP',file_scheme='hive')

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!