crawlscrapy简单使用方法

crawlscrapy简单使用方法

1.创建项目：
scrapy startproject 项目名
例如：
scrapy startproject wxapp

windows下，cmd进入项目路径例如
d:pythonCodespiderProject>scrapy startproject wxapp
将创建项目名为 wxapp

2.使用命令创建一个爬虫：
scrapy genspider 爬虫名称 需要爬取的网址
scrapy genspider -t crawl wxapp_spider "wxapp-union.com"

注意：爬虫名称不能和项目名相同
进入项目目录
d:pythonCodespiderProject>cd wxapp
创建爬虫
d:pythonCodespiderProjectwxapp>scrapy genspider -t crawl wxapp_spider "wxapp-union.com"

命令执行后将在d:pythonCodespiderProjectwxappwxappspiders下，生成wxapp_spider.py

3.修改wxapp_spider.py文件

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!