加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

python是否自动并行化IO和CPU或内存绑定部分?

发布时间:2020-12-20 12:15:25 所属栏目:Python 来源:网络整理
导读:这是关于 previous one的后续问题. 考虑一下这个代码,它比previous question中的代码少玩(但仍然比我真实的简单得多) import sysdata=[]for line in open(sys.argv[1]): data.append(line[-1])print data[-1] 现在,我期待更长的运行时间(我的基准文件长度为6
这是关于 previous one的后续问题.

考虑一下这个代码,它比previous question中的代码少玩(但仍然比我真实的简单得多)

import sys
data=[]

for line in open(sys.argv[1]):
    data.append(line[-1])

print data[-1]

现在,我期待更长的运行时间(我的基准文件长度为65150224行),可能更长.事实并非如此,它与以前一样在约2分钟内运行!

是data.append()非常轻量级?我不相信,因此我写了这个假代码来测试它:

data=[]
counter=0
string="an"

for counter in xrange(65150224):
    data.append(string[-1])

print data[-1]

这运行时间为1.5到3分钟(运行之间存在很大的差异)

为什么我不能在前一个程序中获得3.5到5分钟?显然,data.append()与IO并行发生.

这是个好消息!

但它是如何工作的?它是一个记录的功能吗?我的代码是否有任何要求我应该遵循以使其尽可能地工作(除了负载平衡IO和内存/ CPU活动)?或者只是简单的缓冲/缓存?

再次,我在这个问题上标记了“linux”,因为我只对linux特定的答案感兴趣.如果您认为值得做,请随意提供与操作系统无关的内容,甚至是其他操作系统的答案.

解决方法

Obviously data.append() is happening in parallel with the IO.

恐怕不是.可以在Python中并行化IO和计算,但它不会神奇地发生.

您可以做的一件事是使用posix_fadvise(2)为操作系统提供一个提示,即您计划按顺序读取文件(POSIX_FADV_SEQUENTIAL).

在600兆字节文件(ISO)上执行“wc -l”的一些粗略测试中,性能提高了约20%.清除磁盘缓存后立即完成每个测试.

对于fadvise的Python界面,请参阅python-fadvise.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读