数据库 – 高性能持久键值存储大量的记录

发布时间：2020-12-12 08:23:20 所属栏目：MsSql教程来源：网络整理

导读：这种情况约为10亿条记录.每个记录具有1kb的数据大小,并存储在SSD中. 哪个kv存储可以提供最佳的随机读取性能？它需要减少每个查询只有1次的磁盘访问,并且所有的数据索引将被存储在内存中. Redis很快,但是将1 TB数据存储在内存中太贵了. LevelDB每个查询读取磁

这种情况约为10亿条记录.每个记录具有1kb的数据大小,并存储在SSD中.
哪个kv存储可以提供最佳的随机读取性能？它需要减少每个查询只有1次的磁盘访问,并且所有的数据索引将被存储在内存中.

Redis很快,但是将1 TB数据存储在内存中太贵了.
LevelDB每个查询读取磁盘多次.
我发现最接近的一个是胖子,但它不是持久的.这是一个SSD支持的memcached.

有什么建议么？

解决方法

RocksDB可能是您的选择,其针对快速存储(如内存和闪存盘)及其高度可定制性进行了优化.如果您的应用程序在初始批量加载后是只读的,那么您可以将RocksDB配置为在一个单个大文件中压缩所有内容.以这种方式,读数保证至多具有单个I / O.但是,如果您的应用程序同时处理读写操作,那么为了每次读取最多有一个I / O,您需要牺牲写入性能,因为您需要配置rockdb以便经常压缩,并且会影响写入性能.

RocksDB的调试指南也可以在here找到.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!