数据库设计 – 如何处理Mongodb中的数据库清除
我使用
mongodb存储30天的数据,这些数据作为流来到我这里.我正在寻找一种清除机制,通过它我可以丢弃最旧的数据,为新数据创造空间.我以前使用
mysql,我使用分区处理这种情况.我保留了30个以日期为基础的分区.我删除了最旧的日期分区并创建了一个新分区来保存新数据.
当我在mongodb中映射相同的东西时,我觉得使用基于日期的“分片”.但问题是它使我的数据分发变坏.如果所有新数据都在同一个分片中,那么该分片将会很热,因为有很多人访问它们,并且包含较旧数据的分片将减少用户的负载. 我可以有一个基于集合的清除.我可以有30个集合,我可以丢弃最旧的集合以容纳新数据.但是有几个问题是1)如果我将集合缩小,那么我不能从分片中获益,因为它们是按照每个集合完成的. 2)我的查询必须更改为从所有30个集合中查询并进行联合. 请建议我一个很好的清除机制(如果有的话)来处理这种情况. 解决方法
在MongoDB中只有三种方法可以进行清除.看起来你已经确定了几个权衡因素.
>单个集合,删除旧条目 选项#1:单一集合 利弊 >易于实施 缺点 >删除与插入一样昂贵,导致大量IO以及需要对数据库进行“碎片整理”或“压缩”. 选项#2:每天收集 利弊 >通过collection.drop()删除数据非常快. 缺点 >您可能仍然存在一些碎片问题. 选项#3:每天数据库 利弊 >删除速度尽可能快,文件只是被截断. 缺点 >将使查询更具挑战性(期望编写一些包装代码). 现在有一个选项#4,但它不是一般的解决方案.我知道有些人通过简单地使用Capped Collections来“清除”.肯定有这样的情况,但它有一些警告,所以你真的需要知道你在做什么. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |