探索大数据分析和 Hadoop
1. 大数据大数据?是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据?曾被用作数据仓库概念,但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。 阅读:?Forrester:大数据 – 从小规模开始,但迅速扩大 阅读:?驾驭大数据 阅读:?利用大数据获得新的业务洞察 观看:?大数据大学欢迎视频 - 什么是 Hadoop? 2. 简介 HadoopHadoop?是指在 Apache Project 下针对大规模分布式数据处理而开发的特定软件框架。它的设计支持高度可扩展的网络,该网络有数千个包含 PB 级数据的节点。Hadoop 最初是使用 Java? 语言来设计的,但目前已经扩展到其他许多脚本语言。了解可与 Hadoop 配合使用的架构以及使用它们的效益。 下载:?Cloudera Hadoop Distribution 阅读:?使用 Linux 和 Hadoop 的分布式计算 阅读:?Hadoop Distributed File System 简介 阅读:?用 Hadoop 进行分布式数据处理,第 1 部分:简介 阅读:?用 Hadoop 进行分布式数据处理,第 2 部分:深入介绍 阅读:?用 Hadoop 进行分布式数据处理,第3 部分:应用程序开发? 实践:?为 MapReduce 框架使用 SQL 类语言:使用高级声明式接口让 Hadoop 易于使用 3. 使用 Hadoop 解决问题虽然 Hadoop 的灵感来自于 Google 的 MapReduce 使用模型,但 Hadoop 是一个通用的应用程序框架,可支持大量数据的处理。了解 Hadoop 在人工智能与 Apache Mahout 中的使用、使用了 Java 技术的 Hadoop,并结合使用 Hadoop 与 Dojo 工具包,以实现数据可视化。 阅读:?Apache Mahout 简介 实践:?使用 Mahout 实现聚类 阅读:?Java 开发 2.0:用 Hadoop MapReduce 进行大数据分析 阅读:?使用 Apache Hadoop 和 Dojo 降低商业智能成本,第 1 部分:使用 Apache Hadoop 挖掘现有数据? 阅读:?使用 Apache Hadoop 和 Dojo 降低商业智能成本,第 2 部分:使用 Dojo 工具包创建引人注目的、交互的报告? 实践:?使用 Apache Hadoop 处理日志 4. 大数据和云计算大数据分析和云几乎是一个完美的组合。能够灵活地配置分析作业所必需的处理节点的数量,同时仅为实际使用的节点进行付费,这是云计算所提供的实实在在的好处的典型示例。了解云中的 Hadoop 并为 Hadoop 优化云计算集群。 阅读:?用 Linux 和 Apache Hadoop 进行云计算 阅读:?用 MapReduce 解决与云计算有关的大数据问题 阅读:?分析和优化云集群性能 阅读:?在云中使用 MapReduce 和负载平衡 实践:?在 IBM SmartCloud 中创建 Hadoop 集群 5. Hadoop 生态系统技术Hadoop 本身不是一个产品,而是由多个软件产品组成的一个生态系统,这些软件产品共同实现全面功能和灵活的大数据分析。例如,通过可插入的作业调度程序,可以调整 Hadoop,(适用于小型或大型集群,包括多用户或交互式作业)。Hadoop 包含一些支持 Hadoop 体验的外部开源产品,比如 HBase、Pig 和 Hive。了解其他 Hadoop 技术和 Hadoop 软件生态系统。 阅读:?Hadoop 中的调度:可插入式调度器框架简介 阅读:?使用 Apache Pig 处理数据 阅读:?开源大数据的重要性,第 1 部分:Hadoop 教程:通过 Informix、DB2 和d MySQL 使用 Java、Pig、Hive、Flume、Fuse、Oozie 和 Sqoop 来开发 Hello World? 实践:?入门 - Apache Hive - SQL 操作 阅读:?欢迎来到 Apache Chukwa 阅读:?寻找使用 HBase 开发语义 Web 的道路? 下载:?Apache Hadoop 和生态环境技术 6. 其他大数据分析解决方案虽然 Hadoop 是著名的开源大数据分析解决方案,但其他一些解决方案也提供了大数据分析的变体,比如专注于内存中的集群计算的 Spark、LexisNexis 开源大数据分析解决方案,以及 IBM? BigSheets,它有助于从结构化和非结构化数据源收集数据,从而创建商业智能。 阅读:?Spark,一种快速数据分析替代方案? 实践:?利用 Spark 进行数据分析和性能改进 阅读:?LexisNexis Migrates to Next Generation Big Data Processing Platform Offering Insurance Carriers Better,Faster Results and Minimized Premium Leakage 阅读:?使用 Twitter Storm 处理实时大数据 观看:?使用 Hadoop 和 IBM Big Sheets 增强大数据 阅读:?BigSheets:处理业务洞察和分析方面的大数据挑战 观看:?IBM Big Insights - 让大数据分析变得很轻松 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |