加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

Nosql Mongodb之旅(10)—MongoDB Capped Collection

发布时间:2020-12-13 13:46:20 所属栏目:百科 来源:网络整理
导读:1、简单介绍 capped collections 是性能出色的有着固定大小的集合,以LRU(Least Recently Used 最近最少使用)规则和插入顺序进行age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大

1、简单介绍

capped collections 是性能出色的有着固定大小的集合,以LRU(Least Recently Used 最近最少使用)规则和插入顺序进行age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大小。如果空间用完,新添加的对象将会取代集合中最旧的对象。

2、功能特点

可以插入及更新,但更新不能超出collection 的大小,否则更新失败。不允许删除,但是可以调用drop() 删除集合中的所有行,但是drop 后需要显式地重建集合。在32 位机上,一个capped collection 的最大值约为482.5M,64 位上只受系统文件大小的限制。

3、常见用处
(1)logging

MongoDB 中日志机制的首选,MongoDB 没有使用日志文件,而是把日志事件存储在数据库中。在一个没有索引的capped collection 中插入对象的速度与在文件系统中记录日志的速度相当。

(2)cache

缓存一些对象在数据库中,比如计算出来的统计信息。这样的需要在collection 上建立一个索引,因为使用缓存往往是读比写多。

(3)auto archiving

可以利用capped collection 的age-out 特性,省去了写cron 脚本进行人工归档的工作。

4、推荐用法
(1)为了发挥capped collection 的最大性能,如果写比读多,最好不要在上面建索引,否则插入速度从"log speed"降为"database speed"。

(2)使用"nature ordering"可以有效地检索最近插入的元素,因为capped collection 能够保证自然排序就是插入时的顺序,类似于log 文件上的tail 操作。

5、注意事项

(1)可以在创建capped collection 时指定collection 中能够存放的最大文档数。但这时也要指定size,因为总是先检查size 后检查maxRowNumber。可以使用validate()查看一个collection已经使用了多少空间,从而决定size 设为多大。如:
db.createCollection("mycoll",{capped:true,size:100000,max:100});

db.mycoll.validate();max=1 时会往collection 中存放尽量多的documents。

(2)上述的createCollection 函数也可以用来创建一般的collection , 还有一个参数"autoIndexID",值可以为"true"和"false"来决定是否需要在"_id"字段上自动创建索引,如:
db.createCollection("mycoll",{size:10000000,autoIndexId:false})。

默认情况下对一般的collection 是创建索引的,但不会对capped collection 创建。

6、Capped Collection实际应用,以下内容为转载!

MongoDB 支持 Capped Collection,一种固定大小的集合,当集合的大小达到指定大小时,新数据覆盖老数据,MongoDB Replica set 中的 oplog 就是 Capped Collection 类型。

--1 查看 oplog 是否是 Capped Collection

[plain]view plaincopy
  1. [mongo@redhatB~]$mongo127.0.0.1:27018
  2. MongoDBshellversion:2.2.1
  3. connectingto:127.0.0.1:27018/test
  4. rs0:PRIMARY>uselocal;
  5. switchedtodblocal
  6. rs0:PRIMARY>showcollections;
  7. me
  8. oplog.rs
  9. replset.minvalid
  10. slaves
  11. system.indexes
  12. system.replset
  13. rs0:PRIMARY>db.oplog.rs.isCapped();
  14. true

备注:通过 db.collection.isCapped() 命令可以查看一个集合是否是 Capped Collection 。
Capped Collection 具有以下特性,在使用的时候需要注意:
1 不可以对 Capped Collection 进行分片。
2 在 2.2 版本以后,创建的Capped Collection 默认在 _id 字段上创建索引,而在 2.2 版本或以前没有。
3 在 Capped Collection 插入文档后可以进行更新(update)操作,当更新不能导致原来文档占用
空间增长,否则更新失败。
4 不可以对 capped collection 执行删除文档操作,但可以删除整个集合。
接下来会测试其中的部分特性。


--2 创建 Capped Collection

[plain]view plaincopy
  1. rs0:PRIMARY>db.createCollection("mycoll1",size:1024});
  2. {"ok":1}

备注:通过 db.createCollection 命令创建 Capped Collection 集合,创建时必须指定集合大小,用于预先分配空间。

--3 查看一个集合是否是 Capped Collection
可以通过以下两种方法查看一个集合是否是 Capped Collection 。

[plain]view plaincopy
  1. rs0:PRIMARY>db.mycoll1.isCapped();
  2. true
  3. rs0:PRIMARY>db.mycoll1.stats();
  4. {
  5. "ns":"test.mycoll1",
  6. "count":0,
  7. "size":0,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "storageSize":4096,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "numExtents":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "nindexes":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "lastExtentSize":4096,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "paddingFactor":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "systemFlags":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "userFlags":0,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "totalIndexSize":8176,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "indexSizes":{
  8. "_id_":8176
  9. },108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "capped":true,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "max":2147483647,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "ok":1
  10. }

备注:"capped" 属性为 true 表示是 Capped Collection 。

--4 测试:插入记录

[plain]view plaincopy
  1. rs0:PRIMARY>for(vari=1;i<=10000;i++)db.mycoll1.save({id:i,name:'francs'});
  2. rs0:PRIMARY>db.mycoll1.find().count();
  3. 56
  4. rs0:PRIMARY>db.mycoll1.find();
  5. {"_id":ObjectId("50b811cf68b1911e7096db7f"),"id":9945,"name":"francs"}
  6. {"_id":ObjectId("50b811cf68b1911e7096db80"),"id":9946,"name":"francs"}
  7. {"_id":ObjectId("50b811cf68b1911e7096db81"),"id":9947,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db82"),"id":9948,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db83"),"id":9949,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db84"),"id":9950,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db85"),"id":9951,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db86"),"id":9952,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db87"),"id":9953,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db88"),"id":9954,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db89"),"id":9955,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db8a"),"id":9956,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db8b"),"id":9957,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db8c"),"id":9958,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db8d"),"id":9959,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db8e"),"id":9960,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db8f"),"id":9961,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db90"),"id":9962,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db91"),"id":9963,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> {"_id":ObjectId("50b811cf68b1911e7096db92"),"id":9964,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> Type"it"formore

备注:由于限制了集合大小不小,目标插入 10000 条,结果只插入了 56 条数据,并且老数据被新数据覆盖。另外不可以删除 Capped Collection 的文档,下面测试下。

--5 测试: 删除 capped collection 中的文档

[plain]view plaincopy
  1. rs0:PRIMARY>db.mycoll1.remove({id:9956});
  2. canotremovefromacappedcollection

备注:删除文档时抛出异常。

--6 测试:更新 capped collection 中的文档

[plain]view plaincopy
  1. rs0:PRIMARY>db.mycoll1.find({id:9956});
  2. rs0:PRIMARY>db.mycoll1.update({id:9956},{$set:{name:'aaa_francs'}});
  3. failingupdate:objectsinacappednscannotgrow
  4. rs0:PRIMARY>db.mycoll1.find({id:9956});

备注:这里正好验证了特性3,更新后的值不能超过原有空间,否则更新失败。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读