如何在Linux中拆分巨大的CSV文件？

发布时间：2020-12-13 16:46:12 所属栏目：Linux 来源：网络整理

导读：我有60TB的数据驻留在12个csv文件中. 数据将加载到集群数据库中,其中加载过程是单线程的.为了提高我的负载性能,我需要从每个节点启动一个加载过程. 从这个角度来看,到目前为止一直很好.我最大的问题是如何分割这些数据？它是压缩的,每个csv文件有大约5TB的数

我有60TB的数据驻留在12个csv文件中.

数据将加载到集群数据库中,其中加载过程是单线程的.为了提高我的负载性能,我需要从每个节点启动一个加载过程.

从这个角度来看,到目前为止一直很好.我最大的问题是如何分割这些数据？它是压缩的,每个csv文件有大约5TB的数据！我试过分裂,但需要太长时间！

最简单但不是最快,最可能的方式是

unzip -p <zipfile> | split -C <size>

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!