PHP+MYSQL 简单实现中文分词全文索引
发布时间：2020-12-12 02:18:18 所属栏目：MySql教程 来源：网络整理
导读：相信很多人都研究过MYSQL的中文全文索引问题，目前MYSQL不支持中文全文索引，无奈~~~ 网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的，对于一般的菜鸟根本不知道怎么使用，PHP中文分词有DDEDE的，DEDE的词库不是很强大，还算可以用吧! 还有一个
|
相信很多人都研究过MYSQL的中文全文索引问题，目前MYSQL不支持中文全文索引，无奈~~~ 网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的，对于一般的菜鸟根本不知道怎么使用，PHP中文分词有DDEDE的，DEDE的词库不是很强大，还算可以用吧! 还有一个是《SCWS - 简易中文分词系统》这个目前对于一般菜鸟根本不知道怎么用，虽然有人编译了Windows版的，但安装还是挺麻烦的，我尚未测试过! //========================== 废话不多说了，首先去DEDE下载分词算法函数和词库;下载地址：http://www.dedecms.com/html/chanpinxiazai/20061229/3.html 里面有详细的使用说明，我在这里举一个使用的例子; MYSQL表名：music 字段：title,tag require("lib_splitword_full.php"); $str = "这里是你要分词的内容，一般不要超过1024KB会好一点，否则会很慢!"; $sp = new SplitWord();//实例化 $dd = explode(" ",$sp->SplitRMM($str)); $i=0; foreach ($dd as $key=>$var) { if (strlen($var)>2)//UTF8编码的请设置为3，因为UTF8编码的中文一般为3个字节以上，过滤单个字不保存! { $str.=base64_encode($var)." ";//由于MYSQL不支持中文全文索引，所以在分词中我们必须把词转换成字母或者数字，这里我选择了base64编码 //当然大家还可以把中文转成区码，但我测试过区码的方法，感觉很一般，所以在这样我推荐大家使用base64 $i++; } if ($i>=50) break;//这里是设置你要存储多少个词组，如果是文章可能会有N多词组，你可以设置大一点，但如果你对标题分词的话，50个已经足够了! //这样运行未编码得出来的结果：这里 分词 内容 一般 不要 超过 1024KB 一点 否则 //base64编码后的结果：1eLA7w== t9a0yg== xNrI3Q== 0ruw4w== srvSqg== s6y5/Q== MTAyNEtC 0ru14w== t/HU8g== } ?> 这样我们就可以把分好词而且转换成编码的分词存进 tag 字段了，当然tag字段必须设置成全文索引 full text 而且数据表类型必须为MyISAM。 tag字段数据类型为CHAR和VARCHAR、text,有关如何创建MYSQL全文索引，大家可以搜索一下《mysql创建索引》遍地开花，到处都是! 下面的例子是根据TAG字段的内容进行全文索引查询： include("Mysql.class.php"); $rs = $DB->get_one("select title,tag from music where id=$id");//根据ID读取title和tag字段内容 $title = $rs['title']; $sql = $DB->query("select title,MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) AS score from music where MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) ORDER BY score DESC limit 21");//这里是查询20条相似的内容,而且按相似的排序，21是因为同一条记录都会匹配出来! while ($rs = $DB->fetch_array($sql)) { if ($rs['title']!=$title) { echo $rs['title']." "; } } $DB->close(); ?> 如果大家想看效果可以到我的小站看演示：http://www.dj965.com 以上的例子就实现了PHP+MYSQL简单的中文分词全文索引! 希望对跟我一样的菜鸟有一定的帮助吧! 本人BLOG：http://hi.baidu.com/web20/ 文章来自：http://www.admin5.com/article/20080717/94313.shtml （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |