啦啦啦好久没写好懒,这次先不写数据库这个小表砸~其实这个问题好久好久之前的了,现在才写也是懒= =
用python写爬虫经常涉及到编码问题,本人用pycharm写代码,基本上都写这里了
一.几种常用的编码
1.utf-8
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。
pycharm下默认print显示的是utf-8,所以如果爬了一篇编码正确的文章存进了一个list里,用for逐项打印出来,是能print出中文来的.但是如果没有逐条打印是会打印出一堆乱码的.
但是pycharm写代码时默认的不是utf-8,所以如果加中文注释会报错.所以写代码之前,要在全文最前面先写上:
#coding=utf-8
也有写法是
#*-coding:utf-8-*-
如果爬文章时遇到非utf-8想print出来,先转码
2.GBK与GB2312
GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大.
很多时候字符串(string)的编码是GBK.上面说的print整个列表,类型就是string.要换成utf-8,要先换成unicode.
3.unicode
Unicode码扩展自ASCII字元集。在严格的ASCII中，每个字元用7位元表示，或者电脑上普遍使用的每字元有8位元宽；而Unicode使用全16位元字元集。这使得Unicode能够表示世界上所有的书写语言中可能用於电脑通讯的字元、象形文字和其他符号。Unicode最初打算作为ASCII的补充，可能的话，最终将代替它。考虑到ASCII是电脑中最具支配地位的标准，所以这的确是一个很高的目标。
ASCII和Unicode算基础的编码吧,要转换其他编码要通过Unicode来转换.
二.查询编码及类型
例如:
a=1
b='bbb'
c=u'ccc'
d='普通中文'
e=u'unicode中文'
查询类型就是用 type( )了,默认自带.输出结果为
a
a = u"这是个中文a"
b = re.compile(u"这(.*?)文")
c = b.findall(a)
匹配结果是”是个中”
另外,用sub函数时,用于代替的字段也记得换成unicode(一般python函数出来的结果都需要转码),否则会出错.
以上为看了n个博客和文档自己总结出来的东西,不保证完全理解正确,年代有点久远没法把原博客链接添上,在此谢过~
