一.框架介绍

1.scrapy框架由五个部分组成:

• Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等

• Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎.

• Downloader(下载器): 负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理.

• Spider(爬虫): 它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).

• Item Pipeline(管道): 它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

2.框架示意图

?

二. 框架使用

基本使用流程:

1.创建项目：scrapy startproject 项目名称

2.新建爬虫：scrapy genspider 爬虫文件名 爬虫基础域名

3.编写item

4.spider最后return item

5.在setting中修改pipeline配置

6.在对应pipeline中进行数据持久化操作

?

1.安装

pip install scrapy 
pip install scrapy -i https://pypi.douban.com/simple 使用网络上的资源安装

可能遇到失败:

building ‘twisted.test.raiser‘ extension

error:Microsoft Visual c++ 14.0 is required. Get it with "Microsoft Visual c++ Build tools": ......等字样的错误

此时需先安装文件 Twisted-19.2.0-cp36-cp36m-win_amd64.whl,需从网络下载到本地,下载链接: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 在该文件目录下运行命令:

pip install Twisted-19.2.0-cp36-cp36m-win_amd64.whl

再执行 pip install scrapy 进行安装.

2.基本使用

2.1 通过指令创建项目

scrapy startproject reading_network(项目名)

2.2 通过指令创建spider.py文件

命令:

cd reading_network(项目文件)
# 创建基础spider,using template ‘basic‘
scrapy genspider guoxue "www.dushu.com" ? # 生成爬虫文件taobao 后面接所要爬取的域名
# 创建crawlspider,using template ‘crawl‘ ? # 设置rule,可跟踪响应的url
scrapy genspider -t crawl guoxue www.dushu.com ? # 后面域名也可不加双引号,但不能为单引号 ‘‘

class GuoxueSpider(scrapy.Spider):
 ? ?name = ‘guoxue‘
 ? ?allowed_domains = [‘www.dushu.com‘]
 ? ?start_urls = [‘https://www.dushu.com/book/1617.html‘]
?
 ? ?def parse(self,response):
 ? ? ? ?print(type(response))
 ? ? ? ?detail_urls = response.xpath(‘//div[@class="book-info"]/h3/a/@href‘).extract()

name: 爬虫名，启动的时候根据爬虫的名字启动项目

allowed_domains：允许的域名，爬取的时候这个请求要不要发送，如果是该允许域名之下的url，就会发送，如果不是，则过滤掉这个请求，这是一个列表，可以写多个允许的域名

start_urls：爬虫起始url，是一个列表，里面可以写多个，一般只写一个

def parse(self,response): 就是以后写代码的地方，parse函数名是固定的，当收到下载数据的时候会自动的调用这个方法,该方法第二个参数为response，这是一个响应对象，从该对象中获取html字符串，然后解析。

【注】这个parse函数必须返回一个可迭代对象

2.3 定制item.py

定义所需要爬取的字段,非常简单,复制粘贴

name = scrapy.Field()
img_url = scrapy.Field()
......

2.4 开启爬虫

cmd命令:

scrapy crawl guoxue(爬虫文件名)

可以设置启动文件 start.py:

from scrapy import cmdline
cmdline.execute([‘scrapy‘,‘crawl‘,‘guoxue‘])

若报错：ModuleNotFoundError: No module named ‘win32api‘

可直接安装: pip install pywin32

或安装对应pywin32版本即可: 下载链接: https://sourceforge.net/projects/pywin32/

根据response 获取网页内容:

response.text ? ?字符串类型
response.body ? ?二进制类型

非常注意: 想要爬取到数据,需在settings文件中修改ROBOTSTXT_OBEY设置:

ROBOTSTXT_OBEY = False ?# 表示不遵守robots.txt 通用爬虫的规则

2.5 将爬取数据生成指定格式文件

需在运行命令后接参数:

scrapy crawl guoxue -o data.json  # 编码问题 需在settings中添加 FEED_EXPORT_ENCODING = ‘utf-8‘
scrapy crawl guoxue -o data.xml
scrapy crawl guoxue -o data.csv

scrapy用-o filename.json 输出时，会默认使用unicode编码，当内容为中文时，输出的json文件不便于查看,可以在setting.py文件中修改默认的输出编码方式，只需要在setting.py中增加如下语句（默认似乎是没有指定的，所以要增加，如果默认有，就直接修改）

2.6 将爬取数据存入数据库

• settings.py中配置数据库:

DB_HOST = ‘127.0.0.1‘
DB_PORT = 3306
DB_USER = ‘root‘
DB_PASSWORD = ‘450502‘
DB_DATABASE = ‘spider1‘
DB_CHARSET = ‘utf8‘

• settings.py中配置 ITEM_PIPELINES

  ITEM_PIPELINES = { ? ? ? # 可以添加多个管道
   ? ?# 数字越小优先级越高,越先执行 0-1000
   ? ‘reading_network.pipelines.ReadingNetworkMysqlPipeline‘: 100,?
   ? ‘reading_network.pipelines.xxx‘: 200,
  }

• 在pipelines.py文件中自定义管道 ReadingNetworkMysqlPipeline

class ReadingNetworkMysqlPipeline(object): ?# 需添加到settings管道配置
 # 开启爬虫时执行该函数
 ? ?def open_spider(self,spider):
 ? ? ? ?# 创建连接
 ? ? ? ?settings = get_project_settings() ?# 封装好的获取配置文件settings的方法
 ? ? ? ?host = settings.get(‘DB_HOST‘)
 ? ? ? ?port = settings.get(‘DB_PORT‘)
 ? ? ? ?user = settings.get(‘DB_USER‘)
 ? ? ? ?password = settings.get(‘DB_PASSWORD‘)
 ? ? ? ?database = settings.get(‘DB_DATABASE‘)
 ? ? ? ?charset = settings.get(‘DB_CHARSET‘)
 ? ? ? ?self.conn = pymysql.connect(host=host,port=port,user=user,password=password,
 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? database=database,charset=charset)
 ? ? ? ?self.cursor = self.conn.cursor()
?
?
 # spider.py下的爬虫需不断返回item对象
 ? ?def process_item(self,item,spider): ?# 注意位置参数顺序
 ? ? ? ?data = dict(item)
 ? ? ? ?keys = ‘,‘.join(data.keys())
 ? ? ? ?values = ‘,‘.join([‘%s‘] * len(data)) ?# ‘%s,%s,%s‘
 ? ? ? ?sql = f‘insert into guoxue({keys}) values({values})‘
 ? ? ? ?print(222)
 ? ? ? ?try:
 ? ? ? ? ? ?self.cursor.execute(sql,tuple(data.values())) ?# 传一个元组 替换 其中%s
 ? ? ? ? ? ?self.conn.commit()
 ? ? ? ?except Exception as e:
 ? ? ? ? ? ?print(e)
 ? ? ? ? ? ?self.conn.rollback()
 ? ? ? ?return item
?
?
 # 关闭爬虫时执行该函数
 ? ?def close_spider(self,spider):
 ? ? ? ?self.cursor.close()
 ? ? ? ?self.conn.close()

2.7 日志文件配置

# 日志等级 用的是python原生的日志系统
LOG_LEVEL = ‘ERROR‘ # 可以解决终端打印太多日志消息的问题,只打印错误信息
LOG_FILE = ‘./log.txt‘ # 指定路径

需要自己写日志输出方法

2.8 修改输出文件默认编码格式

settings.py添加 :

FEED_EXPORT_ENCODING = ‘utf-8‘  # 默认utf-8

参考官方文档: 链接: http://doc.scrapy.org/en/latest/topics/item-pipeline.html