正则提取案例(古诗文网)

发布时间：2020-12-14 06:09:42 所属栏目：百科来源：网络整理

导读：正则的一个实例，提取古诗文网https://www.gushiwen.org/default_1.aspx的诗文。参照课程写的。 1 import re 2 import requests 3 4 5 def parse_page(url): 6 headers = { ‘ user-agent ‘ : ‘ Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36

正则的一个实例，提取古诗文网https://www.gushiwen.org/default_1.aspx的诗文。

参照课程写的。

 1 import re
 2 import requests
 3 
 4 
 5 def parse_page(url):
 6     headers = {‘user-agent‘: ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/63.0.3239.132 Safari/537.36‘}
 7     response = requests.get(url,headers=headers)
 8     text = response.text
 9     # print(text)
10     values = re.findall(
11         ‘<p><a style="font-size.*? target="_blank"><b>(.+?)</b></a>[sS]*?target="_blank">(.+?)</a><span>.+? ‘
12         ‘target="_blank">(.+?)</a></p>[sS]+?<div class="contson".+?>n([sS]+?)n</div>‘,text)
13 
14     poems = []
15     for value in values:
16         title,dynasty,author,content = value
17         # 替换br为换行,有些诗文中会有<p>标签要去掉
18         content = re.sub(‘<br />‘,‘n‘,content)
19         content = re.sub(‘<.*?>‘,‘‘,content)
20         poem = {
21             ‘title‘: title,22             ‘dynasty‘: dynasty,23             ‘author‘: author,24             ‘content‘: content
25         }
26         poems.append(poem)
27     return poems
28 
29 
30 def main():
31     url = ‘https://www.gushiwen.org/default_1.aspx‘
32     poems = parse_page(url)
33     print(poems)
34 
35 
36 if __name__ == ‘__main__‘:
37     main()

老师课程中代码是将标题、朝代、作者、内容分开获取的，然后用zip函数将多个列表组合成一个元祖列表。

备忘点

一、zip函数，可以将多个列表组合成一个元祖的列表

二、

title,content = value可以直接将元祖value中的元素分别赋值

三、

re.findall(pattern,text,re.DOTALL)正则中点.不能匹配换行，可以使用[sS]表示所有字符,或者可以使用re.DOTALL或re.S标志就可以使点.表示所有字符了

首先想到的是[.n]表示,可是不能匹配,查百度发现原来是[.]表示的就只是点.这一个字符了.所以不行.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!