Perl匹配中文
转载:http://blog.csdn.net/jallin2001/archive/2009/11/13/4808618.aspx ? 大家经常使用正则表达式的字符集从字符串中抽取或排除中文字符,但是这样做很费事,效果也并不是很理想。实际上Perl从5.6开始已经开始在内部使用 utf8编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。关键在于目前使用的编辑器以及文件格式并不都能很好地支持 utf8,委屈了Perl的强大能力。实际上我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。 下面就以中文文本的处理为例进行说明(注意:编辑下面这段程序不能用使用utf8编码的编辑器),比如有一个字符串"测试文本",我们想要把这个中文字符串拆成单个字符,可以这样写: 这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念: 我们可以看出如果想要Perl按照我们的字符概念来对待文本,文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯 ASCII字符保存(包括在程序中明文写出的字符串),也就是字节流的形式,这里就需要encode和decode函数的帮助了。 encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码,最终转化为字节流的形式,因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单: decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流,将其转化为使用utf8编码的Perl字符串,一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为: 现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的,存放的时候已经是字节流形式,丧失了本来的意义,所以首先就要用decode函数将其转换为Perl字符串,由于汉字一般都用gb2312格式编码,这里decode也要使用gb2312编码格式。转换完成后Perl对待字符的行为就和我们一样了,平时对字符串进行操作的函数基本上都能正确对字符进行处理,除了那些本来就把字符串当成一堆字节的函数(如vec、pack、unpack 等)。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串,还需要将切割后的字符用encode函数编码为 gb2312格式的字节流,再用print输出。 Encode模块的初步应用大概就是这样,详细情况还是要参阅模块的文档。实际上如果我们使用UltraEditor等等支持编辑utf8编码文件的编辑器写程序,基本上用不着Encode模块,在程序开头加上一句use utf8就行。这时Perl默认包括程序本身在内的所有的字符都是Unicode字符,可以随便使用Unicode范围内的字符,甚至可以用非英文字符作为标识符,只是输出的时候可能还需要用Encode模块。比如用UE的utf8编码模式编辑这个程序: 希望写的这些能对大家有所帮助。 发信人: chaoslawful (Skeleton Warrior),信区: Perl 从Perl5.8开始的版本除了使用Encode模块将中文字符转换成utf8字符以外,还可以使用use encoding指示符来更方便地处理。如下所示 use encoding 'gbk'; 还可以指定输入输出使用不同的编码方式,达到转换编码的目的 如果想用汉字作变量名,达到和use utf8指示符相同的效果,可以这样写 use encoding 'gbk',Filter=>1; 不过这样会降低兼容性,所以不推荐使用。更详细的描述可参考perldoc encoding 有时候要考虑字符编码的特性,比如你找到乱码, 如"闈炲尰鍔′汉鍛?","鍖诲姟浜哄憳"分别表示"非医务人员"和"医务人员",所以你的正则表达式可以写为: $_ =~ /闈炲尰鍔′汉鍛/用来匹配文本中包含非医务人员的文件。 当然编译器默认是GBK,我的文本文件是UTF-8无ROM格式. 你通过.*直接输出就可以进行匹配了。 ? 本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/jallin2001/archive/2009/11/13/4808618.aspx (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |