在scala上的hadoop有什么选择

发布时间：2020-12-16 09:41:27 所属栏目：安全来源：网络整理

导读：我们正在开始一个基于大数据的分析项目，我们正在考虑采用scala(类型安全堆栈)。我想知道各种scala API /项目，可用于做hadoop，map reduce程序。解决方法肯定看看 Scalding.作为用户和偶尔的贡献者，我发现它是一个非常有用的工具。 Scalding API也意在与

我们正在开始一个基于大数据的分析项目，我们正在考虑采用scala(类型安全堆栈)。我想知道各种scala API /项目，可用于做hadoop，map reduce程序。

解决方法

肯定看看 Scalding.作为用户和偶尔的贡献者，我发现它是一个非常有用的工具。 Scalding API也意在与标准Scala集合API非常兼容。正如您可以在普通集合中调用flatMap，map或groupBy一样，您可以在“烫发”Pipes上执行相同操作，您可以将其设想为分布式的元组列表。还有一个类型版本的API，提供更强的类型安全保证。我没有使用Scoobi，但API似乎和他们有什么相似。

此外，还有一些其他好处：

> Scalding在Twitter的生产中大量使用，并在Twitter规模的数据集上进行了测试。
>它在Twitter内部和外部都有几个积极的贡献者致力于使其伟大。
>它可以与您现有的级联作业互操作。
>除了Typed API之外，它还有一个Fields API，可能对R和数据框架框架的用户更为熟悉。
>它提供了一个强大的Matrix Library。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!