想要学好爬虫,比如从它的原理开始学!今天教你从零开始学爬虫!
二、爬虫的基本流程: 进群:125240963 ??都可以获取数十套PDF或者入门资料一套呢! 用户获取网络数据的方式: 方式1:浏览器提交请求--->下载网页代码--->解析成页面 方式2:模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中 爬虫要做的就是方式2; 四、 request 1、请求方式: 常见的请求方式:GET / POST 2、请求的URL url全球统一资源定位符,用来定义互联网上一个唯一的资源 例如:一张图片、一个文件、一段视频都可以用url唯一确定 url编码 https://www.baidu.com/s?wd=图片 图片会被编码(看示例代码) 网页的加载过程是: 加载一个网页,通常都是先加载document文档, 在解析document文档的时候,遇到链接,则针对超链接发起下载图片的请求 3、请求头 User-agent:请求头中如果没有user-agent客户端配置,服务端可能将你当做一个非法用户host; cookies:cookie用来保存登录信息 注意: 一般做爬虫都会加上请求头 请求头需要注意的参数: (1)Referrer:访问源至哪里来(一些大型网站,会通过Referrer 做防盗链策略;所有爬虫也要注意模拟) (2)User-Agent:访问的浏览器(要加上否则会被当成爬虫程序) (3)cookie:请求头注意携带 4、请求体 请求体 如果是get方式,请求体没有内容 (get请求的请求体放在 url后面参数中,直接能看到) 如果是post方式,请求体是format data ps: 1、登录窗口,文件上传等,信息都会被附加到请求体内 2、登录,输入错误的用户名密码,然后提交,就可以看到post,正确登录后页面通常会跳转,无法捕捉到post get到了吧?get到了就赶紧去玩爬虫吧! (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |