使用python提取html文件中的特定数据的实现代码
例如 具有如下结构的html文件 复制代码 代码如下: <div class='entry-content'> <p>感兴趣内容1</p> <p>感兴趣内容2</p> …… <p>感兴趣内容n</p> </div> <div class='content'> <p>内容1</p> <p>内容2</p> …… <p>内容n</p> </div> 我们尝试获得'感兴趣内容' 对于文本内容,我们保存到IDList中。 可是如何标记我们遇到的文本是感兴趣的内容呢,也就是,处于 复制代码 代码如下: <div class='entry-content'> <p>这里的内容</p> <p>还有这里</p> …… <p>以及这里的内容</p> </div> 思路如下
python为我们提供了SGMLParser类,SGMLParser 将 HTML 分析成 8 类数据[1],然后对每一类调用单独的方法:使用时只需继承SGMLParser 类,并编写页面信息的处理函数。 可用的处理函数如下:
是一个开始一个块的 HTML 标记,象 <html>,<head>,<body> 或 <pre> 等,或是一个独一的标记,象 <br> 或 <img> 等。当它找到一个开始标记 tagname,SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。例如,当它找到一个 <pre> 标记,它将查找一个 start_pre 或 do_pre 的方法。如果找到了,SGMLParser 会使用这个标记的属性列表来调用这个方法;否则,它用这个标记的名字和属性列表来调用 unknown_starttag 方法。
是结束一个块的 HTML 标记,象 </html>,</head>,</body> 或 </pre> 等。当找到一个结束标记时,SGMLParser 将查找名为 end_tagname 的方法。如果找到,SGMLParser 调用这个方法,否则它使用标记的名字来调用 unknown_endtag 。
用字符的十进制或等同的十六进制来表示的转义字符,象 。当找到,SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。
HTML 实体,象 ©。当找到,SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。
HTML 注释,包括在 <!-- ... -->之间。当找到,SGMLParser 用注释内容来调用 handle_comment。
HTML 处理指令,包括在 <? ... > 之间。当找到,SGMLParser 用处理指令内容来调用 handle_pi。
HTML 声明,如 DOCTYPE,包括在 <! ... >之间。当找到,SGMLParser 用声明内容来调用 handle_decl。
文本块。不满足其它 7 种类别的任何东西。当找到,SGMLParser 用文本来调用 handle_data。 复制代码 代码如下: from sgmllib import SGMLParser class GetIdList(SGMLParser): def reset(self): self.IDlist = [] self.flag = False self.getdata = False SGMLParser.reset(self) def start_div(self,attrs): for k,v in attrs:#遍历div的所有属性以及其值 if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'> self.flag = True return def end_div(self):#遇到</div> 复制代码 代码如下: def end_p(self):#遇到</p> if self.getdata: self.getdata = False def handle_data(self,text):#处理文本 复制代码 代码如下: def printID(self): for i in self.IDlist: print i 上面的思路存在一个bug 复制代码 代码如下: <div class='entry-content'><div>我是来捣乱的</div><p>感兴趣</p></div> 在遇到第一个</div>之后标记flag = False,导致无法的到‘感兴趣内容'。 修改后 如下 复制代码 代码如下: from sgmllib import SGMLParser class GetIdList(SGMLParser): def reset(self): self.IDlist = [] self.flag = False self.getdata = False self.verbatim = 0 SGMLParser.reset(self) def start_div(self,attrs): if self.flag == True: self.verbatim +=1 #进入子层div了,层数加1 return for k,v in attrs:#遍历div的所有属性以及其值 if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'> self.flag = True return def end_div(self):#遇到</div> def start_p(self,attrs): def handle_data(self,text):#处理文本 最后 建立了我们自己的类GetIdList后如何使用呢? t.printID()打印出结果 全部测试代码为 复制代码 代码如下: from sgmllib import SGMLParser class GetIdList(SGMLParser): def reset(self): self.IDlist = [] self.flag = False self.getdata = False self.verbatim = 0 SGMLParser.reset(self) def start_div(self,text):#处理文本 if self.getdata: self.IDlist.append(text) def printID(self): for i in self.IDlist: print i
the_page ='''<html> 执行后 输出为 复制代码 代码如下: 感兴趣内容1 感兴趣内容2 感兴趣内容n 参考文献 [1] 深入 Python:Dive Into Python 中文版 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |