python – Numpy大步招数抱怨“数组太大”,为什么？

发布时间：2020-12-16 21:32:52 所属栏目：Python 来源：网络整理

导读：在numpy(1.8)中,我想将这个计算从 Python循环中转移到更多numpy-ish以获得更好的性能： (width,height) = base.shape(toolw,toolh) = tool.shapefor i in range(0,width-toolw): for j in range(0,height-toolh): zdiff[i,j] = (tool - base[i:i+toolw,j:j+t

在numpy(1.8)中,我想将这个计算从 Python循环中转移到更多numpy-ish以获得更好的性能：

(width,height) = base.shape
(toolw,toolh) = tool.shape
for i in range(0,width-toolw):
    for j in range(0,height-toolh):
        zdiff[i,j] = (tool - base[i:i+toolw,j:j+toolh]).min()

base是一个~2000×2000阵列,工具是25×25阵列. (背景背景：基础和工具是高度图,我试图找出最接近基础的工具移动方法.)

我试图使用一个跨越式的技巧,从这开始：

base_view = np.lib.stride_tricks.as_strided(base,shape=(2000,2000,25,25),strides=(base.strides * 2))

这将使base_view [10,20]成为25×25的值,从(10,20)左上角的基数开始.

然而,这与“阵列太大”失败了.从价值测试来看,当数组的潜在大小(例如2000 * 2000 * 25 * 25 * 8)超过2 ^ 32-ish并且它触发溢出检查时,它会报告此问题,该溢出检查将所有维度相乘. (我使用的是32位Python安装).

我觉得我错过了一些东西 – 为什么当步幅值明显起作用时,它不会让我创造这种“跨步观点”？有没有办法强迫这个？

更一般地说,有没有办法优化我的循环？

更新：确切错误：

ValueError                                Traceback (most recent call last)
<ipython-input-14-313b3d6c74fa> in <module>()
----> 1 newa = np.lib.stride_tricks.as_strided(base,shape=(1000,1000,strides=(base.strides * 2))

C:Python27libsite-packagesnumpylibstride_tricks.pyc in as_strided(x,shape,strides)
     28     if strides is not None:
     29         interface['strides'] = tuple(strides)
---> 30     array = np.asarray(DummyArray(interface,base=x))
     31     # Make sure dtype is correct in case of custom dtype
     32     array.dtype = x.dtype

C:Python27libsite-packagesnumpycorenumeric.pyc in asarray(a,dtype,order)
    458 
    459     """
--> 460     return array(a,copy=False,order=order)
    461 
    462 def asanyarray(a,dtype=None,order=None):

ValueError: array is too big.

解决方法

我无法真正帮助你采用步幅方法,但确实有一种比原始代码更快的方法.它循环遍历工具数组而不是基础数组,这意味着,但是没有完全向量化,更多的工作被推到了numpy.

请注意,在您的原始代码中,我更改了范围并切换了宽度和高度,因为我认为这是您的意图..

import numpy as np

height,width = 500,500
toolh,toolw = 6,6

base = np.random.rand(height,width)
tool = np.random.rand(toolh,toolw)

m,n = height-toolh+1,width-toolw+1

def height_diff_old(base,tool):
    zdiff = np.empty((m,n))
    for i in range(m):
        for j in range(n):
            zdiff[i,j] = (tool - base[i:i+toolh,j:j+toolw]).min()
    return zdiff

def height_diff_new(base,n))
    zdiff.fill(np.inf)
    for i in range(toolh):
        for j in range(toolw):
            diff_ij = tool[i,j] - base[i:i+m,j:j+n]
            np.minimum(zdiff,diff_ij,out=zdiff)
    return zdiff

当然,你想要计算实际函数中的高度和宽度,但是对于测试来说,将它们作为全局变量更容易.

对于给定的数组大小,原始代码在7.38秒内运行,而新代码在我的系统上仅需206毫秒.我假设新代码对于你的数组大小也更快,但我不确定它的扩展程度如何:)

您可能感兴趣或可能不感兴趣的其他替代方案是使用Numba或Cython,在许多情况下,它应该比您想到的任何“矢量化”numpy代码更快.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!