php – cURL有时返回有效URL的空字符串
发布时间：2020-12-13 22:30:09 所属栏目：PHP教程 来源：网络整理
导读：我正在使用rolling-curl [https:// github.com/LionsAd/rolling-curl]库来异步检索来自大量Web资源的内容,作为计划任务的一部分.该库允许您设置最大并发CURL连接数,我从20开始,但后来升至50以提高速度. 似乎每次我运行它时,正在处理的几千个中的任意URL都会
|
我正在使用rolling-curl [https://
github.com/LionsAd/rolling-curl]库来异步检索来自大量Web资源的内容,作为计划任务的一部分.该库允许您设置最大并发CURL连接数,我从20开始,但后来升至50以提高速度.
似乎每次我运行它时,正在处理的几千个中的任意URL都会失败并返回一个空白字符串.似乎我拥有的并发连接越多,我获得的请求失败的次数就越多.一次失败的相同url可能会在下次尝试运行该函数时起作用.可能导致这种情况的原因,我该如何避免呢？ 解决方法
Luc Franken所写的一切都是准确的,他的回答引导我解决了我的提问者问题的版本,即：
远程服务器根据自己的,高度可变的计划进行响应.为了给它们足够的时间来响应,设置两个cURL参数以提供大量的时间是很重要的.他们是： CURLOPT_CONNECTTIMEOUT => 30
CURLOPT_TIMEOUT => 30
您可以尝试更长和更短的时间,直到找到最小化错误的内容.但是如果你正在通过curl / multi-curl / rollingcurl获得间歇性的非响应,你可以用这种方式解决大部分问题. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |