加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

数据聚合mongodb vs mysql

发布时间:2020-12-13 20:24:58 所属栏目:百科 来源:网络整理
导读:目前,我正在研究一个用于具有苛刻数据汇总要求的项目的后端.主要工程要求如下. 为每个用户存储数百万条记录.用户每年可能会有超过100万个条目,所以即使有100个用户,我们每年谈论大约1亿个条目. 这些条目上的数据聚合必须即时执行.用户需要能够通过大量可用过
目前,我正在研究一个用于具有苛刻数据汇总要求的项目的后端.主要工程要求如下.

>为每个用户存储数百万条记录.用户每年可能会有超过100万个条目,所以即使有100个用户,我们每年谈论大约1亿个条目.
>这些条目上的数据聚合必须即时执行.用户需要能够通过大量可用过滤器对条目进行过滤,然后在结果上显示摘要(总计,平均值e.t.c)和图表.显然,由于过滤器组合(因此结果集)是巨大的,我无法预先计算任何聚合结果.
>用户只能访问自己的数据,但如果可以为所有数据计算匿名统计信息,这将是很好的.
>数据大部分时间是批量的.例如用户每天会上传数据,可能会有3000条记录.在某些后期版本中,可能会出现自动化程序,每隔几分钟就会以较小批量的100个项目上传.

我做了一个简单的测试,创建一个具有100万行的表,并在mongodb和mysql中执行一列简单的1列,性能差异很大.我不记得确切的数字,但它是像mysql = 200ms,mongodb = 20秒.

我也用couchdb进行了测试,结果更糟.

似乎有希望的速度明智的是Cassandra,当我第一次发现它时,我非常热情.然而,文档很少,我还没有找到任何关于如何对数据执行总和和其他聚合函数的实例.那可能吗 ?

从我的测试看来(也许我做错了),目前的表现是不可能使用mongodb这样的一个项目,尽管自动分片功能似乎是一个完美的适合它.

有没有人在mongodb中有数据聚合的经验,或者有什么见解可能有助于实施项目?

谢谢,
季米特里斯

MongoDB在需要 javascript的用例(例如map-reduce-jobs)中的表现并没有让我印象深刻.也许在1.51更好.我没试过

您还可以尝试免费的单节点版本Greenplum:http://www.greenplum.com/products/single-node/和http://www.dbms2.com/2009/10/19/greenplum-free-single-node-edition/

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读