大数据分析和 Hadoop

发布时间：2020-12-14 03:53:07 所属栏目：大数据来源：网络整理

导读：1. 大数据大数据 ?是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据 ?曾被用作数据仓库概念，但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。阅读:? Forrester：大

1. 大数据

大数据?是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据?曾被用作数据仓库概念，但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。

阅读:?Forrester：大数据 – 从小规模开始，但迅速扩大

阅读:?驾驭大数据

阅读:?利用大数据获得新的业务洞察

观看:?大数据大学欢迎视频 - 什么是 Hadoop？

2. 简介 Hadoop

Hadoop?是指在 Apache Project 下针对大规模分布式数据处理而开发的特定软件框架。它的设计支持高度可扩展的网络，该网络有数千个包含 PB 级数据的节点。Hadoop 最初是使用 Java? 语言来设计的，但目前已经扩展到其他许多脚本语言。了解可与 Hadoop 配合使用的架构以及使用它们的效益。

下载:?Cloudera Hadoop Distribution

阅读:?使用 Linux 和 Hadoop 的分布式计算

阅读:?Hadoop Distributed File System 简介

阅读:?用 Hadoop 进行分布式数据处理，第 1 部分：简介

阅读:?用 Hadoop 进行分布式数据处理，第 2 部分：深入介绍

阅读:?用 Hadoop 进行分布式数据处理，第3 部分：应用程序开发?

实践:?为 MapReduce 框架使用 SQL 类语言：使用高级声明式接口让 Hadoop 易于使用

3. 使用 Hadoop 解决问题

虽然 Hadoop 的灵感来自于 Google 的 MapReduce 使用模型，但 Hadoop 是一个通用的应用程序框架，可支持大量数据的处理。了解 Hadoop 在人工智能与 Apache Mahout 中的使用、使用了 Java 技术的 Hadoop，并结合使用 Hadoop 与 Dojo 工具包，以实现数据可视化。

阅读:?Apache Mahout 简介

实践:?使用 Mahout 实现聚类

阅读:?Java 开发 2.0：用 Hadoop MapReduce 进行大数据分析

阅读:?使用 Apache Hadoop 和 Dojo 降低商业智能成本，第 1 部分：使用 Apache Hadoop 挖掘现有数据?

阅读:?使用 Apache Hadoop 和 Dojo 降低商业智能成本，第 2 部分：使用 Dojo 工具包创建引人注目的、交互的报告?

实践:?使用 Apache Hadoop 处理日志

4. 大数据和云计算

大数据分析和云几乎是一个完美的组合。能够灵活地配置分析作业所必需的处理节点的数量，同时仅为实际使用的节点进行付费，这是云计算所提供的实实在在的好处的典型示例。了解云中的 Hadoop 并为 Hadoop 优化云计算集群。

阅读:?用 Linux 和 Apache Hadoop 进行云计算

阅读:?用 MapReduce 解决与云计算有关的大数据问题

阅读:?分析和优化云集群性能

阅读:?在云中使用 MapReduce 和负载平衡

实践:?在 IBM SmartCloud 中创建 Hadoop 集群

5. Hadoop 生态系统技术

Hadoop 本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。例如，通过可插入的作业调度程序，可以调整 Hadoop，（适用于小型或大型集群，包括多用户或交互式作业）。Hadoop 包含一些支持 Hadoop 体验的外部开源产品，比如 HBase、Pig 和 Hive。了解其他 Hadoop 技术和 Hadoop 软件生态系统。

阅读:?Hadoop 中的调度：可插入式调度器框架简介

阅读:?使用 Apache Pig 处理数据

阅读:?开源大数据的重要性，第 1 部分：Hadoop 教程：通过 Informix、DB2 和d MySQL 使用 Java、Pig、Hive、Flume、Fuse、Oozie 和 Sqoop 来开发 Hello World?

实践:?入门 - Apache Hive - SQL 操作

阅读:?欢迎来到 Apache Chukwa

阅读:?寻找使用 HBase 开发语义 Web 的道路?

下载:?Apache Hadoop 和生态环境技术

6. 其他大数据分析解决方案

虽然 Hadoop 是著名的开源大数据分析解决方案，但其他一些解决方案也提供了大数据分析的变体，比如专注于内存中的集群计算的 Spark、LexisNexis 开源大数据分析解决方案，以及 IBM? BigSheets，它有助于从结构化和非结构化数据源收集数据，从而创建商业智能。

阅读:?Spark，一种快速数据分析替代方案?

实践:?利用 Spark 进行数据分析和性能改进

阅读:?LexisNexis Migrates to Next Generation Big Data Processing Platform Offering Insurance Carriers Better,Faster Results and Minimized Premium Leakage

阅读:?使用 Twitter Storm 处理实时大数据

观看:?使用 Hadoop 和 IBM Big Sheets 增强大数据

阅读:?BigSheets：处理业务洞察和分析方面的大数据挑战

观看:?IBM Big Insights - 让大数据分析变得很轻松

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!