Python3网络爬虫实战-6、APP爬取相关库的安装:Charles的安装
除了 Web 网页,爬虫也可以对 APP 的数据进行抓取,APP 中的页面要加载出来,首先需要获取数据,那么这些数据一般是通过请求服务器的接口来获取的,由于 APP 端没有像浏览器一样的开发者工具直接比较直观地看到后台的请求,所以对 APP 来说,它的数据抓取主要用到一些抓包技术。
本书介绍的抓包工具有 Charles、MitmProxy、MitmDump,APP 一些简单的接口我们通过 Charles 或 MitmProxy 分析找出规律就可以直接用程序模拟来抓取了,但是如果遇到更复杂的接口我们就需要利用 MitmDump 对接Python来对抓取到的请求和响应进行实时处理和保存,另外既然要做规模采集就需要自动化 APP 的操作而不是人工去采集,所以这里还需要一个工具叫做 Appium,它可以像 Selenium 一样对 APP 进行自动化控制,如自动化模拟APP的点击、下拉等操作。 本节我们来了解一下 Charles、MitmProxy、MitmDump、Appium 的安装方法。 1.6.1 Charles的安装Charles 是一个网络抓包工具,在做 APP 抓包的时候会用到,相比 Fiddler 来说,Charles 的功能更为强大,而且跨平台支持更好,所以在这里我们选用 Charles 来作为主要的移动端抓包工具,用于分析移动 APP 的数据包,辅助完成 APP 数据抓取工作。 1. 相关链接
2.下载CharlesCharles 的官网是:https://www.charlesproxy.com,我们可以在官网下载最新稳定版本,链接为:https://www.charlesproxy.com/...,它支持 Windows、Linux、Mac 三大平台。 3. 证书配置现在很多页面都在向 HTTPS 方向发展,HTTPS 通信协议应用越来越广泛,如果一个 APP 通信应用了 HTTPS 协议,那它通信的数据都会是被加密的,常规的截包方法是无法识别请求内部的数据的。Python学习q-u-n 七八四,七五八,二一四 工具,各类实战操作分享 点击 Help->SSL Proxying->Install Charles Root Certificate,即可进入证书的安装页面。 图 1-48 证书配置 iOS如果你的手机是 iOS 系统,可以按照下面的操作进行证书配置。 图 1-49 代理设置 图 1-50 代理设置 图 1-51 提示窗口 图 1-52 证书安装页面入口 它提示我们在手机上设置好 Charles 的代理,我们刚才已经设置好了,然后在手机的浏览器中打开 chls.pro/ssl 下载证书,我们在手机上打开这个链接。 图 1-54 证书安装页面 图 1-55 安装成功页面 图 1-56 证书信任设置 Android如果你的手机是 Android 系统,可以按照下面的操作进行证书配置。 图 1-57 代理设置 图 1-58 提示窗口 图 1-59 证书安装页面 4. 结语本文介绍了 Charles 的安装及证书配置过程,后文我们会介绍 Charles 的基本使用方法。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |