python – 如何使用Scrapy
发布时间：2020-12-20 12:37:16 所属栏目：Python 来源：网络整理
导读：我想知道如何开始基于Scrapy的爬虫.我通过apt-get install安装了该工具,并尝试运行一个示例： /usr/share/doc/scrapy/examples/googledir/googledir$scrapy listdirectory.google.com/usr/share/doc/scrapy/examples/googledir/googledir$scrapy crawl 我从s
|
我想知道如何开始基于Scrapy的爬虫.我通过apt-get install安装了该工具,并尝试运行一个示例：
/usr/share/doc/scrapy/examples/googledir/googledir$scrapy list directory.google.com /usr/share/doc/scrapy/examples/googledir/googledir$scrapy crawl 我从spiders / google_directory.py中破解了代码,但它似乎没有被执行,因为我没有看到我插入的任何打印件.我阅读了他们的文档,但我发现没有任何相关内容;你有什么想法？ 此外,如果您认为对于抓取网站我应该使用其他工具,请告诉我.我对Python工具没有经验,Python是必须的. 谢谢！ 解决方法
您在crawl命令中错过了蜘蛛名称.使用：
$scrapy crawl directory.google.com 另外,我建议你将示例项目复制到你的家中,而不是在/usr/share / doc / scrapy / examples /目录中工作,这样你就可以修改它并使用它： $cp -r /usr/share/doc/scrapy/examples/googledir ~ $cd ~/googledir $scrapy crawl directory.google.com （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |