Python的一些用于抓取的方法封装

以下代码由PHP站长网 52php.cn收集自互联网

现在PHP站长网小编把它分享给大家，仅供参考

#!/usr/bin/env python
#-*- coding:utf-8-*-

import urllib2
import re
import hashlib
import json

#--------------------------------------------------- 工具 start
def md5(str):
    '''
    计算MD5值
    '''
    m = hashlib.md5()   
    m.update(str)
    return m.hexdigest()

def search(regex,content,group = 1):
    '''
    搜索指定正则匹配的内容
    '''
    pattern = re.search(regex,re.DOTALL)
    if(pattern != None):
        return pattern.group(group)
    return ''

def findall(regex,content):
    '''
    查找指定正则匹配的所有内容
    '''
    return re.findall(regex,re.DOTALL)

def cleanHtmlTag(content):
    '''
    清理HTML标签
    '''
    return content or re.sub(r'<[^>]*?>','',content).strip()

def cleanedSearch(regex,group = 1):
    '''
    查找匹配的指定字符串并清除HTML标签
    '''
    return cleanHtmlTag(search(regex,group))

def httpGet(url,encoding='gbk'):
    '''
    发送Http GET请求，返回内容
    '''
    return urllib2.urlopen(url).read().decode(encoding,'ignore').encode('utf-8')

def toJson(dict):
    return json.dumps(dict,ensure_ascii=False,indent=4)

#--------------------------------------------------- 工具 end

以上内容由PHP站长网【52php.cn】收集整理供大家参考研究

如果以上内容对您有帮助，欢迎收藏、点赞、推荐、分享。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!