python-如何使用Nan维更新dask数组的形状,块和块大小元数据
发布时间:2020-12-17 17:38:31 所属栏目:Python 来源:网络整理
导读:假设我生成一个形状取决于某些计算的数组,例如: import dask.array as da a = da.random.normal(size=(int(1e6),10)) a = a[a.mean(axis=1) 0] a.shape(nan,10) a.chunks((nan,nan,nan),(10,)) a.chunksize(nan,10) 南是预期的.当我将计算结果保留在繁琐的
假设我生成一个形状取决于某些计算的数组,例如:
南是预期的.当我将计算结果保留在繁琐的工作程序上时,我会假定已经丢失了此丢失的元数据,但显然并非如此:
如果我尝试强制重新压缩,我会得到:
用已在工作程序中计算出的块的实际大小来更新数组的元数据的惯用方式是什么? 我可以使用以下方法非常便宜地计算它们:
我的问题是如何获得一个新的dask数组,该数组由具有一些信息性的.shape,.chunk和.chunksize属性(无nans)的相同块支持.
最佳答案
今天没有一个很好的解决方案,但是有可能.如果不存在,我建议提出一个问题.这是通常要求的功能.
编辑:这是在这里跟踪:https://github.com/dask/dask/issues/3293 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |