python是否自动并行化IO和CPU或内存绑定部分?
这是关于
previous one的后续问题.
考虑一下这个代码,它比previous question中的代码少玩(但仍然比我真实的简单得多) import sys data=[] for line in open(sys.argv[1]): data.append(line[-1]) print data[-1] 现在,我期待更长的运行时间(我的基准文件长度为65150224行),可能更长.事实并非如此,它与以前一样在约2分钟内运行! 是data.append()非常轻量级?我不相信,因此我写了这个假代码来测试它: data=[] counter=0 string="an" for counter in xrange(65150224): data.append(string[-1]) print data[-1] 这运行时间为1.5到3分钟(运行之间存在很大的差异) 为什么我不能在前一个程序中获得3.5到5分钟?显然,data.append()与IO并行发生. 这是个好消息! 但它是如何工作的?它是一个记录的功能吗?我的代码是否有任何要求我应该遵循以使其尽可能地工作(除了负载平衡IO和内存/ CPU活动)?或者只是简单的缓冲/缓存? 再次,我在这个问题上标记了“linux”,因为我只对linux特定的答案感兴趣.如果您认为值得做,请随意提供与操作系统无关的内容,甚至是其他操作系统的答案. 解决方法
恐怕不是.可以在Python中并行化IO和计算,但它不会神奇地发生. 您可以做的一件事是使用posix_fadvise(2)为操作系统提供一个提示,即您计划按顺序读取文件(POSIX_FADV_SEQUENTIAL). 在600兆字节文件(ISO)上执行“wc -l”的一些粗略测试中,性能提高了约20%.清除磁盘缓存后立即完成每个测试. 对于fadvise的Python界面,请参阅python-fadvise. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |