加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

扭曲 – scrapy中的端口错误

发布时间:2020-12-16 23:43:07 所属栏目:Python 来源:网络整理
导读:我设计了一个爬行器,其中将有两个蜘蛛.我使用scrapy设计了这些. 这些蜘蛛将通过从数据库中获取数据而独立运行. 我们使用反应器运行这些蜘蛛.我们知道我们不能反复运行反应堆 我们给第二个爬行的蜘蛛提供了大约500个链接. 如果我们这样做,我们就会遇到端口错
我设计了一个爬行器,其中将有两个蜘蛛.我使用scrapy设计了这些.
这些蜘蛛将通过从数据库中获取数据而独立运行.

我们使用反应器运行这些蜘蛛.我们知道我们不能反复运行反应堆
我们给第二个爬行的蜘蛛提供了大约500个链接.
如果我们这样做,我们就会遇到端口错误的问题.即scrapy只使用单一端口

Error caught on signal handler: <bound method ?.start_listening of <scrapy.telnet.TelnetConsole instance at 0x0467B440>>
Traceback (most recent call last):
File "C:Python27libsite-packagestwistedinternetdefer.py",line 1070,in _inlineCallbacks
result = g.send(result)
File "C:Python27libsite-packagesscrapy-0.16.5-py2.7.eggscrapycoreengine.py",line 75,in start yield self.signals.send_catch_log_deferred(signal=signals.engine_started)
File "C:Python27libsite-packagesscrapy-0.16.5-py2.7.eggscrapysignalmanager.py",line 23,in send_catch_log_deferred
return signal.send_catch_log_deferred(*a,**kw)
File "C:Python27libsite-packagesscrapy-0.16.5-py2.7.eggscrapyutilssignal.py",line 53,in send_catch_log_deferred
*arguments,**named)
--- <exception caught here> ---
File "C:Python27libsite-packagestwistedinternetdefer.py",line 137,in maybeDeferred
result = f(*args,**kw)
File "C:Python27libsite-packagesscrapy-0.16.5-py2.7.eggscrapyxlibpydispatchrobustapply.py",line 47,in robustApply
return receiver(*arguments,**named)
File "C:Python27libsite-packagesscrapy-0.16.5-py2.7.eggscrapytelnet.py",in start_listening
self.port = listen_tcp(self.portrange,self.host,self)
File "C:Python27libsite-packagesscrapy-0.16.5-py2.7.eggscrapyutilsreactor.py",line 14,in listen_tcp
return reactor.listenTCP(x,factory,interface=host)
File "C:Python27libsite-packagestwistedinternetposixbase.py",line 489,in listenTCP
p.startListening()
File "C:Python27libsite-packagestwistedinternettcp.py",line 980,in startListening
raise CannotListenError(self.interface,self.port,le)
twisted.internet.error.CannotListenError: Couldn't listen on 0.0.0.0:6073: [Errno 10048] Only one usage of each socket address (protocol/network address/port) is normally permitted.

那么这里出现的问题是什么?那么解决这种情况的最佳方法是什么?请帮忙……

p.s:我增加了设置中的端口数量,但默认情况下总是需要6073.

解决方法

最简单的方法是通过将其添加到settings.py来禁用Telnet控制台:
EXTENSIONS = {
   'scrapy.telnet.TelnetConsole': None
}

有关默认启用的扩展名列表,另请参阅http://doc.scrapy.org/en/latest/topics/settings.html#extensions.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读