PHP解析html类库simple_html_dom的转码bug
发布时间:2020-12-12 20:11:56 所属栏目:PHP教程 来源:网络整理
导读:这几天有在用simple_html_dom抓一些文章。不同网站的编码在国内基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。 我这一版的simple_html_dom有一个方法 convert_text 是这个样子的。 代码如下: // PaperG - Function to convert the text from one charac
这几天有在用simple_html_dom抓一些文章。不同网站的编码在国内基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。 我这一版的simple_html_dom有一个方法 convert_text 是这个样子的。 代码如下: // PaperG - Function to convert the text from one character set to another if the two sets are not the same.
function convert_text($text) { global $debug_object; if (is_object($debug_object)) {$debug_object->debug_log_entry(1);} $converted_text = $text; $sourceCharset = ""; $targetCharset = ""; if ($this->dom) { $sourceCharset = strtoupper($this->dom->_charset); $targetCharset = strtoupper($this->dom->_target_charset); } if (is_object($debug_object)) {$debug_object->debug_log(3,"source charset: " . $sourceCharset . " target charaset: " . $targetCharset);} if (!empty($sourceCharset) && !empty($targetCharset) && (strcasecmp($sourceCharset,$targetCharset) != 0)) { // Check if the reported encoding could have been incorrect and the text is actually already UTF-8 if ((strcasecmp($targetCharset,'UTF-8') == 0) && ($this->is_utf8($text))) { $converted_text = $text; } else { $converted_text = iconv($sourceCharset,$targetCharset,$text); } } // Lets make sure that we don't have that silly BOM issue with any of the utf-8 text we output. if ($targetCharset == 'UTF-8') { if (substr($converted_text,3) == "xefxbbxbf") { $converted_text = substr($converted_text,3); } if (substr($converted_text,-3) == "xefxbbxbf") { $converted_text = substr($converted_text,-3); } } return $converted_text; } 来看这一行: 代码如下: $converted_text = iconv($sourceCharset,$text);
会引起转码不正确。比如会把gb2312的文字转成: 代码如下: 4月26日在公园马术场举行的2014浪琴国际马联场地障碍世界杯中国联赛资格赛上,24岁的韩壮壮不仅拿到零罚分的成绩 ...第7个出场的奥运骑手赵志文第一个收获零罚分,用时77秒07 ...
既成的事实了,证明里头的转码功能没有处理好。由于我使用这个simple_html_dom只是想要用来构建dom。我并没有打算花时间去很好地处理这个bug。而是简单地把 代码如下: $converted_text = iconv($sourceCharset,$text);
改成 代码如下: $converted_text = $text;
就行了。思路就是取消它的转码。好吧工作不必纠结,可以继续了。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |