为什么R data.table不支持Windows上的非ASCII键
好吧,我已经提交了
the issue on Github但没有得到回应. data.table是一个伟大的R包,可以帮助我们在日常工作中做很多事情.
但是,在版本1.9.6之后,如果列没有以UTF-8编码,则它突然不支持Windows上的非ASCII键(R中的默认非ASCII字符编码取决于平台). 这很可能是一个错误(我会说一个大错误).我很惊讶,没有人关注这一点,没有人抱怨,因为这个bug已经存在了将近2年. 我花了好几个小时试图解决这个问题,但都失败了.相关提交是https://github.com/Rdatatable/data.table/commit/03cd45f83fe41e4a6507b9b2e4f955c105979c8c和https://github.com/Rdatatable/data.table/commit/409d709380e865d014f21f17a254e0bbcf1e156d 他们实际上是在尝试将其他编码字符转换为UTF-8,然后对UTF-8中的所有字符进行排序和比较.似乎编码处理是正确的.但是,我确实怀疑这个bug被隐藏在那里. data.table的实现非常复杂,我问是否有人可以提供帮助,以便我们可以制定公关来解决这个问题. 非常感谢. 最小的可重复的例子 数据集 library(data.table) ## data.table 1.10.5 IN DEVELOPMENT built 2017-12-01 20:06:10 UTC ## The fastest way to learn (by data.table authors): https://www.datacamp.com/courses/data-analysis-the-data-table-way ## Documentation: ?data.table,example(data.table) and browseVignettes("data.table") ## Release notes,videos and slides: http://r-datatable.com dt <- data.table( x = c("公允价值变动损益","红利收入","价差收入","其他业务支出","资产减值损失"),y = 1:5,key = "x" ) 如果编码是本机的,则会失败(返回NA) dt[] ## x y ## 1: 公允价值变动损益 1 ## 2: 红利收入 2 ## 3: 价差收入 3 ## 4: 其他业务支出 4 ## 5: 资产减值损失 5 Encoding(dt$x) ## [1] "unknown" "unknown" "unknown" "unknown" "unknown" dt[J("公允价值变动损益")][] ## x y ## 1: 公允价值变动损益 NA 仅在编码转换为utf8时才会成功 现在它返回正确答案1. dt[,x := enc2utf8(x)] setkey(dt,x) dt[] ## x y ## 1: 价差收入 3 ## 2: 公允价值变动损益 1 ## 3: 其他业务支出 4 ## 4: 红利收入 2 ## 5: 资产减值损失 5 Encoding(dt$x) ## [1] "UTF-8" "UTF-8" "UTF-8" "UTF-8" "UTF-8" dt[J("公允价值变动损益")][] ## x y ## 1: 公允价值变动损益 1 sessionInfo sessionInfo() ## R version 3.4.1 (2017-06-30) ## Platform: x86_64-w64-mingw32/x64 (64-bit) ## Running under: Windows 7 x64 (build 7601) Service Pack 1 ## ## Matrix products: default ## ## locale: ## [1] LC_COLLATE=Chinese (Simplified)_People's Republic of China.936 ## [2] LC_CTYPE=Chinese (Simplified)_People's Republic of China.936 ## [3] LC_MONETARY=Chinese (Simplified)_People's Republic of China.936 ## [4] LC_NUMERIC=C ## [5] LC_TIME=Chinese (Simplified)_People's Republic of China.936 ## ## attached base packages: ## [1] stats graphics grDevices utils datasets methods base ## ## other attached packages: ## [1] data.table_1.10.5 ## ## loaded via a namespace (and not attached): ## [1] compiler_3.4.1 backports_1.1.1 magrittr_1.5 rprojroot_1.2 ## [5] tools_3.4.1 htmltools_0.3.6 Rcpp_0.12.13 stringi_1.1.5 ## [9] rmarkdown_1.8 knitr_1.17 stringr_1.2.0 digest_0.6.12 ## [13] evaluate_0.10.1
因为这个问题在
PR年已经解决,所以我正在回答我自己的问题.
对于字符串,data.table将它们的值与UTF8编码进行比较.但是,由于在csort()和csort_pre()中缺少两个ENC2UTF8,data.table创建的顺序实际上取决于编码.在Windows上,当键中存在字符串时,默认编码不是UTF8这一事实会导致一些奇怪的输出. 为了调试这种情况,您需要知道如何将C例程中的非ASCII字符打印到R的输出.直接使用Rprintf()会让你感到困惑.你必须首先在字符串上使用translateChar(). 参考文献: > http://r.789695.n4.nabble.com/Rprintf-expected-encoding-td4740717.html (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
- windows-mobile – 在UWP / Windows 10手机中更换System.Th
- windows – 在资源管理器中查看网络计算机描述
- 在ESXi Server上安装Windows 3.11 for Workgroups
- 在Windows 8 metro应用程序中启动进程
- active-directory – 是否可以授予域控制器上所有事件日志的
- windows – 在HyperV上的分离磁盘上运行虚拟机
- WIN2000?SERVER安全配置服务器手册?(5)
- 在Windows批处理文件中寻找Unix风格的’getopt’命令行解析
- windows-server-2008 – 如何在Windows Server 2008中强化T
- .net – Windows Azure REST Api背后的技术是什么?
- 安装程序 – 有谁知道一个好的MSI日志查看器?
- microsoft-metro – Metro UI Multibinding?
- 如何在官方Windows Python 2.5上使用时间> 2038年
- windows-server-2008 – 密码验证失败 – NTLMv2
- windows – 远程运行调用“以管理员身份运行”的
- windows-server-2003 – 当访问被拒绝且安全选项
- windows-server-2008 – Windows Server 2008 R2
- Windows开发人员应该知道命令行吗?
- windows-server-2003 – 保护内部服务器的RDP
- PE基础3-资源表-重定位表-TLS表-DLL延迟加载表