初级爬虫--爬取拉勾网职位信息
发布时间:2020-12-20 09:51:20 所属栏目:Python 来源:网络整理
导读:主要用到的库:requests 1.原始url地址,https://www.lagou.com/jobs/list_python?labelWords=fromSearch=truesuginput=。我们查看网页源代码,发现里面并没有我们想要的职位信息,这是因为拉勾网有反爬虫机制,它的职位信息是通过ajax动态加载的。 2.我们按
主要用到的库:requests 1.原始url地址,https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=。我们查看网页源代码,发现里面并没有我们想要的职位信息,这是因为拉勾网有反爬虫机制,它的职位信息是通过ajax动态加载的。 2.我们按下F12,找到network--在左侧Name中找到:positionAjax.json?needAddtionalResult=false--,在右侧找到response。 ? ?我们将显示的json格式的内容放在http://www.bejson.com/jsonviewernew/进行格式化: ? ?发现这正是我们想要的职位信息。 3.简单爬虫的构建 import requests #实际要爬取的url url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false' payload = { first': true,pn1kd: 'python',} header =User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/73.0.3683.86 Safari/537.36Refererhttps://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=Acceptapplication/json,text/javascript,*/*; q=0.01 } 原始的url urls =' 建立session s = requests.Session() 获取搜索页的cookies s.get(urls,headers=header,timeout=3) 为此次获取的cookies cookie = s.cookies 获取此次文本 response = s.post(url,data=payload,cookies=cookie,timeout=5).text print(response) 部分输出如下: ? (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |