ruby中的大矩阵代数计算

发布时间：2020-12-17 01:31:24 所属栏目：百科来源：网络整理

导读：我正在开发一个涉及使用大型数据矩阵进行计算的项目.我有10,000行和100列的CSV文件,其中有10个.目前,我正在运行一个后台作业,它从每个CSV读取数据,将其拉入数组,对数据运行一些矩阵乘法计算,然后移动到下一个CSV.我确信有更好的方法可以做到这一点,因为看起

我正在开发一个涉及使用大型数据矩阵进行计算的项目.我有10,000行和100列的CSV文件,其中有10个.目前,我正在运行一个后台作业,它从每个CSV读取数据,将其拉入数组,对数据运行一些矩阵乘法计算,然后移动到下一个CSV.我确信有更好的方法可以做到这一点,因为看起来处理工作所花费的大部分时间都花在打开CSV上.我的问题实际上归结为我应该如何存储当前在这些CSV文件中的数据,以便轻松访问它并以更有效的方式运行计算.任何帮助,将不胜感激

编辑

正如评论中所建议的那样,我想补充一点,矩阵密度是100％,数字都是浮点数.

解决方法

对于任何类型的大数据,CSV都是非常非常无效的格式.鉴于您的所有数据都是数字,并且您的数据大小是一致的,因此紧凑的二进制格式将是最佳的.如果以网络字节顺序将数据存储为1,000,000个4字节整数的二进制文件,其中前100个是第一行,第二个是第二行,依此类推,它会将文件大小从12MB减少到大约8MB,并完全消除解析CSV的低效率(这实在是效率低下).要将数据转换为此格式,请尝试运行此 Ruby代码(我假设数据是CSV的二维数组)：

newdat = data.flatten.map {|e| e.to_f}.pack("G*")

然后将newdat写入文件作为新数据：

f = File.open("data.dat",'wb')
f.write(newdat)
f.close

要从文件中解析此数据：

data = File.open("data.dat",'rb').read.unpack("G*").each_slice(100).to_a

这将把数据设置为矩阵作为二维数组.

注意：我实际上无法为您提供硬数字,因为我没有任何巨大的CSV文件,里面装满了花车.但是,这应该更有效率.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!