什么是解析文章内容的Wikipedia XML转储并填充MySQL数据库的快速

发布时间：2020-12-16 22:51:45 所属栏目：百科来源：网络整理

导读：对于某些文本挖掘应用程序,我需要识别英语维基百科中每篇文章的每个单词的频率,并使用该数据填充 MySQL数据库. This official page建议在转储上使用mwdumper或xml2sql,但它们并不直接用于我的目的(除非有人可以解释它们如何). 另一方面,使用WikiExtractor,用

对于某些文本挖掘应用程序,我需要识别英语维基百科中每篇文章的每个单词的频率,并使用该数据填充 MySQL数据库. This official page建议在转储上使用mwdumper或xml2sql,但它们并不直接用于我的目的(除非有人可以解释它们如何).

另一方面,使用WikiExtractor,用于Python的MySQLdb和本地MySQL服务器,可以让我完全按照自己的意愿行事,但是要解析整个转储需要一个月的时间很慢.对修改后的WikiExtractor程序进行概要分析表明,大多数运行时都花费在它的嵌套正则表达式搜索和我的数据库插入中.

理想情况下,我不希望处理文章花费超过几天.我怎样才能有效地做到这一点？

解决方法

Perl包 MediaWiki::DumpFile非常适合解析.要加载转储并读取每个页面,您只需要几行代码.

要进行简单的字频计算,您可以使用sample code in Perl FAQ或Text::Ngrams软件包进行更智能的操作.

将结果添加到数据库取决于您,因为您正在开发应用程序,并且您应该知道需求.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!