中文分词在大量数据模糊查询中的应用
最近在做建筑行业相关的项目,遇到的一个应用场景是解析材料名称。由于输入的数据中材料名称非常不规范,而且数量量又非常大,所以处理起来比较困难。 名称不规范的意思是,比如标准材料叫:“圆钢”,材料中出现的名称有:“钢筋圆钢”,“圆钢HPB300”,“钢筋 圆钢(≤Φ10)”等等,也就是说材料名称前面或者后面很多修饰语(一般情况是前面是材料分类,后面是型号信息)。 一般的思路就是关键字匹配,但是由于数据量比较大,一般上千条,而标准材料数量也上千条左右。所以用这种方法的话,就是两个for循环,循环次数非常多: for _,v := range materialList { for _,v1 := range standardList { // 一共上千条 if strings.Contain(v,v1) { // 找到了标准材料 do something break } } } 新的思路是使用中文分词,将标准材料放在字典里面,如下: { // 键为标准材料名称,值为材料信息 “圆钢”: xxxxxxx, "螺纹钢": xxxxxxx, ...... } 在解析材料数据的时候,先对材料进行分词,比如“钢筋圆钢”就会分为“钢筋”,“圆钢”,“圆钢HPB300”会分为"圆钢",“HPB300”等等。 分词之后,在词的数组中从后往前(针对我的应用场景)在字典中查找,直到键匹配成功。一般分词之后词的数量不会太多,基本都在5条以内,所以效率比较高。 这样将以前的内部循环匹配查找转换为分词操作和字典查找,只要分词操作性能高的话,整体查找效率会比第一种方法高很多。
其他类似场景也可以使用这种思路来提升程序的性能。 最后推荐一个我使用的go的中文分词库:segohttps://github.com/huichen/sego (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |