scrapy框架安装及创建

发布时间：2020-12-20 10:13:51 所属栏目：Python 来源：网络整理

导读：介绍：大而全的爬虫组件一、安装： windows 1.下载 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 耐心等待网页刷新 pip3 install -i https://pypi.douban.com/ simple wheelpip3 install " D:typed_ast-1.4.0-cp37-cp37m-win_amd64.whl " pip3 in

介绍：大而全的爬虫组件

一、安装：

windows

1.下载 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

耐心等待网页刷新

pip3 install -i https://pypi.douban.com/simple wheel
pip3 install "D:typed_ast-1.4.0-cp37-cp37m-win_amd64.whl"
pip3 install -i https://pypi.douban.com/simple pywin32
pip3 install -i https://pypi.douban.com/simple scrapy

linux

pip3 install -i https://pypi.douban.com/simple scrapy

二、创建

1.创建项目

scrapy startproject xx

?目录结构

scrapy startproject 项目名称

项目名称
    项目名称/
        - spiders                # 爬虫文件 
            ....
        - items.py                 # 持久化
        - pipelines                # 持久化
        - middlewares.py        # 中间件
        - settings.py             # 配置文件（爬虫）
    scrapy.cfg                    # 配置文件（部署）

2.创建爬虫(根据提示)

scrapy genspider autohome autohome.com

3.启动爬虫

scrapy crawl autohome

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!