python-如果将chsv分块加载,pandas dropna()将不起作用

发布时间：2020-12-17 17:38:19 所属栏目：Python 来源：网络整理

导读：我正在使用chunksize加载?24GB的csv文件 reader = pd.read_csv(in_file,chunksize=10000)for chunk in reader: chunk.dropna(inplace=True) ... 我正在运行的问题是csv文件仍然具有空值.任何想法可能是什么？最佳答案我最终要做的是 reader = pd.read_csv(

我正在使用chunksize加载?24GB的csv文件

reader = pd.read_csv(in_file,chunksize=10000)

for chunk in reader:
    chunk.dropna(inplace=True)
    ...

我正在运行的问题是csv文件仍然具有空值.任何想法可能是什么？

最佳答案

我最终要做的是

reader = pd.read_csv(in_file,chunksize=10000)

for chunk in reader:
    chunk = chunk.dropna()
    ...

感谢您的帮助@kabanus和@ user32185.我还使用了dask来帮助调整文件大小.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!