大数据处理点滴笔记

自我头脑风暴，说得对与错都请指点，后续补充。

?

当下三大技术热点：高并发、分布式、大数据（也许，还有很多，这只是自我修炼的三个目标）。

大数据处理系统有几点要求：

1. 低延迟
2. 高性能
3. 分布式
4. 可扩展（更多的要求是可横向扩展）
5. 容错

现在用的比较多的就是Hadoop、Storm。

?

Hadoop

1. 依赖于HDFS磁盘
2. 延时较高（可精确到小时）
3. 统计结果存在HBase

Storm

1. 依赖于内存计算
2. 延时较短（可以精确到10秒）
3. 统计结果存在MySQL

数据收集，交给Kafka

?

kafka是LinkedIn开源的一款分布式的发布-订阅消息系统，它具有：

1. 通过O(1)的磁盘结构持久化存储消息，即使TB级的数据也能保持长期稳定；
2. 高吞吐率：即使非常普通的硬件，kafka也能支持每秒数十万的消息；
3. 支持通过kafka服务器和消费集群来分区消息；
4. 支持Hadoop并行加载；

storm参考：http://www.searchtb.com/2012/09/introduction-to-storm.html

?

暂做记录