我如何限制Python线程？

发布时间：2020-12-16 22:12:19 所属栏目：Python 来源：网络整理

导读：我有一个线程做了很多CPU密集型处理,这似乎阻止了其他线程.我该如何限制它？这是针对web2py的,但一般解决方案没问题. 最佳答案我不久前刚刚结束这个问题,你不能改变线程的优先级,但有办法解决这个问题. 为了给你一些关于这个问题的背景知识,在cPython实现

我有一个线程做了很多CPU密集型处理,这似乎阻止了其他线程.我该如何限制它？

这是针对web2py的,但一般解决方案没问题.

最佳答案

我不久前刚刚结束这个问题,你不能改变线程的优先级,但有办法解决这个问题.

为了给你一些关于这个问题的背景知识,在cPython实现中,由于Global Interpreter Lock或GIL的发布和获取方式,CPU绑定线程会导致其他线程饿死.奇怪的是,这个问题在多核环境中变得更糟.关于这个问题的一个非常详细的分析和介绍是在David Beazley完成的,您可以在http://www.dabeaz.com/python/GIL.pdf找到它.他有几篇博文更详细.它们很长但很吸引人.

简短的版本是CPU绑定线程释放并重新获取GIL,然后才能唤醒其他线程以获取它.导致持有GIL的CPU绑定线程超过90％的时间.

您可以使用一些模式来解决此问题.例如,您可以在完全不同的过程中运行CPU绑定任务.这将允许操作系统调度程序更好地管理资源共享,并且应该允许您的web2py线程继续运行,因为操作系统实际上对IO绑定线程给予优先处理. multiprocessing库是为此类案例提供的.它需要更多代码才能使其正常工作,但这应该有所帮助.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!