python – 当工作人员数量增加并且numpy生成大型数组时,Keras使

发布时间：2020-12-16 22:28:31 所属栏目：Python 来源：网络整理

导读：我的代码使用了相对广泛的扩充策略,但我注意到当fit_generator( workers = N)中的N增加时,CPU利用率不成比例.我有一个4核CPU. 当N = 1时,htop显示约105％的使用率当N = 2时,htop显示约202％的使用率当N = 3时,htop显示约287％的使用率当N = 4时,htop显示

我的代码使用了相对广泛的扩充策略,但我注意到当fit_generator(… workers = N)中的N增加时,CPU利用率不成比例.我有一个4核CPU.

>当N = 1时,htop显示约105％的使用率
>当N = 2时,htop显示约202％的使用率
>当N = 3时,htop显示约287％的使用率
>当N = 4时,htop显示大约342％的使用率

GPU使用率始终低于40％.

如果我减少增强策略以省略噪声添加,当N = 4时,我可以实现大约360％和更高的GPU使用率.增加噪音

x = numpy.random.normal(0,noise_sigma,x.shape)/ 255.0

其中x是640×480 BGR输入图像.这是一个慢速呼叫,每次呼叫平均大约24.3ms,但是当N = 4时CPU不应该仍然工作吗？ numpy如何在生成大量随机数时阻塞其他线程？

最佳答案

普通电话cont2_array *

https://github.com/numpy/numpy/blob/master/numpy/random/mtrand/mtrand.pyx#L1651

还有锁

这是什么原因？

您可以尝试使用单个RandomState生成随机数吗？

r = numpy.random.RandomState() 

.....

for ... :
    x += r.normal(0,x.shape) / 255.0

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!