数据库设计 – 如何学习设计高度交易系统？

解决方法

>理论和学术背景,
>热门消息来源,
>软件和工具,以及
>练习.

书籍和论文

这是该领域的基础 – 如何从0到相当不错,专业水平,但大多数在理论上.

介绍级别

由吉姆格雷Transaction Processing: Concepts and Techniques (The Morgan Kaufmann Series in Data Management Systems)

Silberschatz书(Database System Concepts)在后面的章节中介绍了高级交易系统的内部工作原理,有一些资源等.

数据库特定

H-store paper-描述了内存设计对高事务负载的好处. H-store工作激发了VoltDB的发展.

Calvin paper – 快速分布式事务
用于分区数据库系统.提供非常好的背景,相关工作,以及对最新技术的洞察力.

Architecture of a Database System by Hellerstein,Stonebraker和Hamilton
涵盖了很多方面.

限制和边界

Great paper关于高可用性交易的优点和局限性.

CAP Theorem paper – 关于大规模系统的一致性,可用性和分区的设计权衡.很重要.

Parallel Processing and Parallel Databases

热门和当前来源

博客

High Scalability是一个完美的博客,您正在寻找.
例如,这是一个great entry on the evolution of Amazon’s architecture.很接近你一直在寻找的东西.

Facebook,LinkedIn和Twitter工程博客是很棒的资源.我还会查看Google Research网站和他们的Google. Netflix也不错.

会议

VLDB和SIGMOD会议(包括SIGMOD blog)是研究人员/学术界和公司提供大多数最先进的数据系统的地方.

HPTS是一个有趣的会议/研讨会,有很好的议程和出版物.

我甚至会检查USENIX series的尖端系统.

案例研究架构

VoltDB是一个超级交易的内存数据库,由ACM研究员Mike Stonebraker和最现代数据库概念的“父亲”设计.

IBM大型机在高容量交易领域仍然占有非常突出的地位
处理.在写这个答案的时候,他们是touting他们的Z13系统extreme,encrypted transaction processing volumes.

如果您有兴趣进行“大数据”交易,那么有很多选择,但HBase可能是最有趣的.
以下是HBase的一些建议阅读来源：
雅虎的Omid建立在HBase之上
Transactions over HBase

另一个有趣的架构是Twitter,now Apache Storm.
和Apache Kafka用于流媒体和实时处理.

基准和练习

如果您想尝试一些事情,请查看TPC系列基准测试.有事务,ETL,BI和决策支持/混合负载分析基准.
这些是关系导向的.

您可以使用这些基准测试并针对开源SMP(例如postgres,MySQL)和MPP数据库(如Greenplum)(link,以及关于查询,性能,一些示例设置和how MPP databases process queries的完整文档)进行实践.

我为面向HBase的事务系统推荐了these实际场景和体系结构.

对于最先进的消息和面向演员的交易系统,您可能需要购买一两本书.
对于Akka(作为Spark的内部),您可以使用Akka in Action并在每章末尾进行练习.
here培训课程还有一些练习.

对于流处理,这里有Apache Kafka(parts 1和http://www.confluent.io/blog/stream-data-platform-2/)的一些很好的练习. Cloudera有一个很好的“入门”guide.

为了实现面向消息的最先进系统,我建议Getting Started with Storm,也许可以通过这些exercises.有许多真实拓扑结构.

对于好的旧JMS,您可以使用此online reference进行练习,或
这些Active MQ exercises变得更加复杂.

如果你想用大型机折磨自己,试试这个emulator.它模仿IBM的OS / 370-390.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!