有没有一个Perl统计软件包,不能一次加载整个数据集？

发布时间：2020-12-15 22:03:03 所属栏目：大数据来源：网络整理

导读：我正在寻找Perl(CPAN是好的)的统计数据包,允许我增量地添加数据,而不必传递整个数据数组. 只有平均值,中位数,stddev,max和min是必要的,没有什么太复杂. 原因是因为我的数据集完全太大,无法适应内存.数据源在MySQL数据库中,所以现在我只是查询数据的一部分并

我正在寻找Perl(CPAN是好的)的统计数据包,允许我增量地添加数据,而不必传递整个数据数组.

只有平均值,中位数,stddev,max和min是必要的,没有什么太复杂.

原因是因为我的数据集完全太大,无法适应内存.数据源在MySQL数据库中,所以现在我只是查询数据的一部分并计算它们的统计数据,然后再结合所有可管理的子集.

如果您有其他想法如何克服这个问题,我将非常有责任！

Statistics::Descriptive::Discrete允许您以类似于Statistics :: Descriptive的方式执行此操作,但已针对大型数据集进行了优化. (例如,文档报告内存使用量提高了两个数量级(100x)).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!