大数据分析- 基于Hadoop/Mahout的大数据挖掘
|
随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。 ? 一、培训对象 1，系统架构师、系统分析师、高级程序员、资深开发人员。 2，牵涉到大数据处理的数据中心运行、规划、设计负责人。 3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。 4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。 ? 二、学员基础 1，对IT系统设计有一定的理论与实践经验。 2，有一定的数据仓库与大数据处理的基础知识。 3，有一定的Hadoop技术的基础知识。 ? 三、师资 由业界知名大数据专家亲自授课： 杨老师?? 主要研究网络信息分析以及云计算相关技术，长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。 ? 四、培训要点 互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据分析的决策模型和技术支持。 大数据通常具有：数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战，更好地管理和处理这些数据也将会获得意想不到的收获。 Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架，证明了在处理海量网页数据时该框架的优越性。GFS/MapReduce框架实现了更高应用层次的抽象，使用户无需关注复杂的内部工作机制，无需具备丰富的分布式系统知识及开发经验，即可实现大规模分布式系统的部署与大数据的并行处理。 ApacheHadoop开源项目开发团队。他们克隆了GFS/MapReduce框架，推出了Hadoop系统。该系统已受到学术界和工业界的广泛认可和采纳，并孵化出众多子项目(如Pig，Zookeeper和Hive等)，日益形成一个易部署、易开发、功能齐全、性能优良的系统。 本课程从大数据技术以及Hadoop实战的角度，结合理论和实践，全方位地介绍Hadoop以及Mahout大数据挖掘工具的开发技巧。涉及的主题包括：大数据挖掘及其背景， Hadoop及Mahout大数据挖掘工具，推荐系统及电影推荐案例，分类技术及聚类分析，流挖掘及其它挖掘技术，大数据挖掘前景分析。 教学过程中贯穿了案例分析来帮助学员了解如何用Hadoop和Mahout挖掘工具来解决具体的问题，在关键点上搭建实验环境进行实践研究，以加深对于这些解决方案的理解。并介绍了从大数据中挖掘出有价值的信息的关键。 ? 五、培训内容 第一讲大数据挖掘及其背景 ??1)数据挖掘定义 ? 2)Hadoop相关技术 ? 3)大数据挖掘知识点 第二讲 MapReduce计算模式 ??1）分布式文件系统 ? 2）MapReduce ? 3）使用MR的算法设计 第三讲 Hadoop中的云挖掘工具Mahout ? 1）Mahout介绍 ? 2）推荐系统 ?? 3）信息聚类 ?? 4）分类技术 ?? 5）其它挖掘 第四讲 推荐系统及其应用开发 ?? 1）一个推荐系统的模型 ?? 2）基于内容的推荐 ?? 3）协同过滤 ?? 4）电影推荐案例 第五讲 分类技术及其应用 ? 1）分类的定义 ? 2）分类主要算法 ? 3）Mahout分类过程 ? 4）评估指标以及评测 ? 5）贝叶斯算法新闻分类实例 第六讲 聚类技术及其应用 ? ?1）聚类的定义 ? ?2）聚类的主要算法 ??3）K-Means、Canopy及其应用示例 ??4）Fuzzy K-Means、Dirichlet及其应用示例 ??5）路透新闻聚类实例 第七讲 关联规则和相似项发现 ???1）购物篮模型 ?? 2）Apriori算法 ?? 3）抄袭文档发现 ?? 4）近邻搜索的应用 第八讲 流数据挖掘相关技术 ?? 1）流数据挖掘及分析 ?? 2）流数据模型 ?? 3）数据抽样 ?? 4）流过滤 第九讲 大数据挖掘应用前景 ? ?1）与Hadoop集群应用的协作 ???2）与RHadoop等其它云挖掘工具配合 ?? 3）大数据挖掘行业应用展望 ? 六、培训目标 1,全面了解大数据处理技术的相关知识。 2，学习Hadoop的核心技术方法以及应用特征。 3，深入使用Mahout挖掘工具在大数据中的使用。 4，掌握流数据挖掘和其它大数据挖掘关键技术。 !?dn?_z?ydi-font-family:Wingdings'>l? ID3算法l? 由决策树提取分类规则 l? 基于Climentine的决策树分析实例 ?? 神经网络算法 l? 神经网络的概念 l? 网络拓扑及其算法 l? 基于Climentine的神经网络分析实例 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |