python – 绕过os线程限制的编程策略？

发布时间：2020-12-20 13:02:52 所属栏目：Python 来源：网络整理

导读：场景：我们有一个 python脚本,可以同时检查数千个代理. 该程序使用每个代理1个线程来加速该过程.当它到达1007线程时,脚本因线程限制而崩溃. 我的解决方案是：一个全局变量,当线程产生时递增,并在线程完成时递减.产生线程的函数监视变量,以便不达到限制. 朋友

场景：我们有一个 python脚本,可以同时检查数千个代理.
该程序使用每个代理1个线程来加速该过程.当它到达1007线程时,脚本因线程限制而崩溃.
我的解决方案是：一个全局变量,当线程产生时递增,并在线程完成时递减.产生线程的函数监视变量,以便不达到限制.
朋友,你的解决方案是什么？

谢谢你的回答.

您希望使用 select module执行非阻塞I / O.

有几种不同的具体技术. select.select应该适用于每个主要平台.还有其他更高效的变体(如果您同时检查数万个连接可能很重要),但您需要为特定平台编写代码.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!