Stanford的POS标签器在Java中使用

发布时间：2020-12-14 19:28:35 所属栏目：Java 来源：网络整理

导读：Mar 9,2011 1:22:06 PM edu.stanford.nlp.process.PTBLexer nextWARNING: Untokenizable: ? (U+FFFD,decimal: 65533)Mar 9,decimal: 65533) 这些是当我想要将POS标签分配给句子时,我得到的错误.我从文件中读取句子.最初(几句话)我没有得到这个错误(即不可破

Mar 9,2011 1:22:06 PM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable: ? (U+FFFD,decimal: 65533)
Mar 9,decimal: 65533)

这些是当我想要将POS标签分配给句子时,我得到的错误.我从文件中读取句子.最初(几句话)我没有得到这个错误(即不可破译),但是在阅读一些句子后,这个错误就出现了.我使用v2.0(即2009年)的POS标签,模型是left3words.

解决方法

我同意Yuval – 一个字符编码问题,但最常见的情况是,当标记器尝试以UTF-8读取文件时,该文件采用单字节编码(如ISO-8859-1).参见 Wikipedia的UFFFD讨论.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!