你真的了解大数据分析栈吗？

我们经常被问到这个问题——我要从哪里开始呢？到底是如何使用大数据分析解决问题的？

为了回答这个问题，我们需要退一步想一下问题的背景以及一个完整的解决问题方案。

大数据（或者任何此类的数据）旨在解决业务问题。这个业务问题也叫做一个用例。我们要始终记住这一点。解释数据堆栈的最简单的方法是从底部开始，尽管构建用例的过程是自顶而下的。

栈的最底层当然是数据了，这是构成堆栈的原始成分。这里的成员就是数据库和存储提供商。Hadoop，凭借其创新的方法，在这一层掀起了轩然大波。

下一层是数据准备工具。众所周知，数据通常是混乱的并且从来都不以正确的格式出现。数据准备就是从数据源（多个）抽取数据，合并两个数据集并且准备好数据分析步骤中需要的数据的过程。这方面的厂商正在兴起。

再下一层是数据分析层。统计学是最为公众所知的分析工具，对统计来说，常用的解决方案是统计学和开源的R。这一层正在兴起机器学习的解决方案。使用机器学习自动进行分析是未来趋势。

数据分析引擎的输出结果构成了展示层，该层依赖于具体的用例。这一层也被叫做动作层、消耗层或者最后里程。

l 如果这个用例的结果是需要展示给人看的，那展示层可能是一个BI或者可视化工具。类似用例的例子如欺诈预测、订单到现金的监控等等。在每个例子中，最终的结果都是发送给决策者来支持他们的决策。

l 对一些用例来说，结果需要给到下游系统，可能是另外一个程序。类似用例如推荐系统、实时定价系统等。这种情况下，分析结果被送到下游系统来处理。

l 如果这个用例是一个报警系统，那么分析结果构成一个事件处理或者报警系统。类似用例如医疗装置故障、网络故障等。在这种情况下，分析的结果被送到一个能够根据结果向人或者机器发送警报的实时或者近实时系统。

这是价值和整个数据栈最终目的所在的一层。用例决定了数据栈中每一层工具的选择，用例的数量几乎是无限的，类似用例如欺诈检测、电话报警、网络故障、供应故障报警、机器故障等等。这些就像食谱——几乎是无限的。随着数据类型和数量的增长，用例的数量也在不断增长。

* 思考

你是如何看待你的数据堆栈的？

你又有什么想法呢？

如果你有好的想法，就给小象留言吧~