python爬虫入门---第一篇：获取某一网站所有超链接

bs4 <span style="color: #0000ff">def<span style="color: #000000"> getHTMLText(url):
<span style="color: #0000ff">try<span style="color: #000000">:
<span style="color: #008000">#<span style="color: #008000">获取服务器的响应内容，并设置最大请求时间为6秒
res = requests.get(url,timeout = 6<span style="color: #000000">)
<span style="color: #008000">#<span style="color: #008000">判断返回状态码是否为200
<span style="color: #000000"> res.raise_for_status()
<span style="color: #008000">#<span style="color: #008000">设置真正的编码
res.encoding =<span style="color: #000000"> res.apparent_encoding
<span style="color: #008000">#<span style="color: #008000">返回网页HTML代码
<span style="color: #0000ff">return<span style="color: #000000"> res.text
<span style="color: #0000ff">except<span style="color: #000000">:
<span style="color: #0000ff">return <span style="color: #800000">'<span style="color: #800000">产生异常<span style="color: #800000">'

<span style="color: #008000">#<span style="color: #008000">目标网页
url = <span style="color: #800000">'<span style="color: #800000">https://www.cnblogs.com/huwt/<span style="color: #800000">'<span style="color: #000000">

demo =<span style="color: #000000"> getHTMLText(url)

<span style="color: #008000">#<span style="color: #008000">解析HTML代码
soup = BeautifulSoup(demo,<span style="color: #800000">'<span style="color: #800000">html.parser<span style="color: #800000">'<span style="color: #000000">)

<span style="color: #008000">#<span style="color: #008000">模糊搜索HTML代码的所有标签
a_labels = soup.find_all(<span style="color: #800000">'<span style="color: #800000">a<span style="color: #800000">'<span style="color: #000000">)

<span style="color: #008000">#<span style="color: #008000">获取所有标签中的href对应的值，即超链接
<span style="color: #0000ff">for a <span style="color: #0000ff">in<span style="color: #000000"> a_labels:
<span style="color: #0000ff">print(a.get(<span style="color: #800000">'<span style="color: #800000">href<span style="color: #800000">'))