key value store
|
1. 背景 Key-ValueStore是当下比较流行的话题，尤其在构建诸如搜索引擎、IM、P2P、游戏服务器、SNS等大型互联网应用以及提供云计算服务的时候，怎样保证系统在海量数据环境下的高性能、高可靠性、高扩展性、高可用性、低成本成为所有系统架构们挖苦心思考虑的重点，而怎样解决数据库服务器的性能瓶颈是最大的挑战。 按照分布式领域的CAP理论(Consistency、 Availability、Tolerance to network Partitions这三部分在任何系统架构实现时只可能同时满足其中二点，没法三者兼顾)来衡量，传统的关系数据库的ACID只满足了Consistency、Availability，因此在Partition tolerance上就很难做得好。另外传统的关系数据库处理海量数据、分布式架构时候在Performance、Scalability、 Availability等方面也存在很大的局限性。 而Key-Value Store更加注重对海量数据存取的性能、分布式、扩展性支持上，并不需要传统关系数据库的一些特征，例如：Schema、事务、完整SQL查询支持等等，因此在分布式环境下的性能相对于传统的关系数据库有较大的提升。 2. 场景 工作过程中，遇到的一些场景诸如简单的存储用户的中奖数据、用户搭载的一些任务的状态和频率控制等，由于用户基数大，并发数高，使用的就是key-value store。特别的，部门封装了一套分布式数据存储系统，使用DB做持久化，支持key value存储，虽然存在一些使用上注意的地方，但是能很好的服务于目前接入的大量服务。 3. 开源实现 【详细】 (1) Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于储存特别大的数据。Facebook目前在使用此系统。 (2)memcached是一套分布式的快取系统，当初是Danga Interactive为了LiveJournal所发展的，但目前被许多软件（如MediaWiki）所使用。不过，memcached 缺乏认证以及安全管制. (3)Membase 是 NoSQL 家族的一个新的重量级的成员，其完全兼容 memcached 的方式，有望笼络 memcached 的用户群。Membase 的可伸缩性、集群、复制以及管理方便等特性又是 memcached 无法匹敌的。 (4)Tair 是由淘宝网自主开发的分布式Key/Value结构数据存储系统，在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候，都在直接或间接地和Tair交互。 (5)BeansDB 是豆瓣网开发的一个主要针对大数据量、高可用性的分布式Key Value存储系统，采用HashTree和简化的版本号来快速同步保证最终一致性（弱），一个简化版的 Dynamo。 它采用类似memcached的去中心化结构，在客户端实现数据路由。目前只提供了 Python版本的客户端，其它语言的客户端可以由memcached的客户端稍加改造得到。 (6)Redis 是一个高性能的key-value数据库。redis的 出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。 (7)Apache CouchDB 是一个面向文档的数据库管理系统。它提供以 JSON 作为数据格式的 REST 接口来对其进行操作，并可以通过视图来操纵文档的组织和呈现。 CouchDB 是 Apache 基金会的顶级开源项目。 CouchDB落实到最底层的数据结构就是两类B+Tree 。 (8) Tokyo Cabinet 是一个DBM的实现。这里的数据库由一系列key-value对的记录构成。key和value都可以是任意长度的字节序列,既可以是二进制也可以是字符串。这里没有数据类型和数据表的概念。 当做为Hash表数据库使用时，每个key必须是不同的,因此无法存储两个key相同的值。提供了以下访问方法:提供key,value参数来存 储，按 key删除记录，按key来读取记录，另外，遍历key也被支持，虽然顺序是任意的不能被保证。这些方法跟Unix标准的DBM,例如GDBM,NDBM 等等是相同的，但是比它们的性能要好得多（因此可以替代它们) 当按B+树来存储时，拥用相同key的记录也能被存储。像hash表一 样的读取，存储，删除函数也都有提供。记录按照用户提供的比较函数来存储。可以采用顺序或倒序的游标来读取每一条记录。依照这个原理，向前的字符串匹配搜 索和整数区间搜索也实现了。另外，B＋树的事务也是可用的。 (9)Orient DB 是一个可伸缩的文档数据库，支持 ACID 事务处理。使用 Java 5 实现。OrientDB 最强的一个地方是可以使用 类 SQL 的查询语句进行数据查询。 (10)Hibari（在日语中意思为“云雀”）是一个专为高可靠性和大数据存储的数据库引擎，可用于云计算环境中，例如 webmail、SNS 和其他要求T/P级数据存储的环境中。Hibari 支持 Java,C/C++,Python,Ruby,和 Erlang 语言的客户端。 Hibari 并不是一个关系数据库，主要是通过 key-value 的方法进行数据存储。 4. redis[Wiki] Redis是一个开源、支持网络、基于内存、键值对存储数据库，使用ANSI C编写。 知乎上说了下redis的优点如下： 最后： （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |