彻底解决Python3写爬虫或网站时的乱码问题

发布时间：2020-12-20 12:46:47 所属栏目：Python 来源：网络整理

导读：第一次写贴子，文笔差，写的不清楚的地方请见谅很多玩Python3的都会遇到编码问题，如果直接去处理未知编码的网页，不是utf8格式会出现乱码，下面介绍一种将未知编码的字串转换为utf8来避免乱码的方法，在很多Python编码转换的场景中都可以使用自己写的爬

第一次写贴子，文笔差，写的不清楚的地方请见谅

很多玩Python3的都会遇到编码问题，如果直接去处理未知编码的网页，不是utf8格式会出现乱码，下面介绍一种将未知编码的字串转换为utf8来避免乱码的方法，

在很多Python编码转换的场景中都可以使用

自己写的爬虫里提取的部分：

#请求网页并转网页编码
def getHtmlAndDealCode(url):
    #html=requests.get(url,verify=False)
    html = s.get(url,headers=header)
    code=html.encoding
    html=html.text
    html=html.encode(code)
    html=html.decode(‘utf-8‘)
    parser = ‘html.parser‘
    soup = BeautifulSoup(html,parser)
    return soup

原理就是通过 encoding 得到字串编码再通过encode解这种编码，decode(‘utf-8‘)将编码转换为utf8编码，然后就可以进行后面的处理了

是不是简单又实用啊

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!