云计算与大数据处理技术
云计算提供了一种对资源“按需索取服务”的能力,确保了使用时间与需要时间的完全一致,从而建立了一种分布式、高效率、低成本的IT商业模式。正是这些特点,使云计算成为IT发展的潮流与趋势。为解决广大系统设计人员深入研究与开发云计算系统的需要,培训中心特举办“云计算与大数据处理技术”培训班,具体事宜通知如下: 一、培训对象 1,系统架构师、系统分析师、高级程序员、资深开发人员。 2,牵涉到海量数据处理的机构数据中心运行、规划、设计负责人。 3,云服务运营服务提供商规划负责人。 4,高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。 二、学员基础 1,对IT系统设计有一定的理论与实践经验。 2,数据仓库与大数据处理有一定的基础知识。 三、师资 由业界知名云计算专家亲自授课: 杨老师?? 主要研究网络信息分析以及云计算相关技术,长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。 雷老师?? 国内知名企业云平台技术负责人,中国云亲身实践者。 四、培训要点 今天,随着IT规模越来越大,数据规模呈几何级数增长,已经超出了传统技术方法所能解决的范畴。为此,人们把目光转向了刚刚兴起的云计算,希望通过云计算来实施海量数据处理解决方案,实现以更小的成本来处理更大规模数据的目标,并成为目前云计算应用所面对的极大挑战。本课程基本思想如下: 1,目前,“云计算”已经不是一个刚刚流行的时髦概念了,在一些传统IT方法显得无能为力的场合,云计算正在开始大展拳脚,表现了强大的解决问题的能力,海量数据存储与处理正是属于这种场合。我们如何在云计算分布式环境下正确设计大数据量数据模型?如何在设计中解决资源、效率、安全性、可靠性等一系列极难平衡的问题?如何通过云计算帮助我们解决在传统IT技术中看似解决不了的敏感问题?这些都是我们在云计算架构设计中需要深入研究的键问题。 2,理解问题最好的方法是分析成功案例,本课程分别从多个角度分析在面对海量数据处理的困难时,不同的应用体系是如何解决问题并获得成功的。研究这些已有的体系不是目的,而是希望学员能够通过学习这些解决问题的方法和思路,通过归纳整理深入理解,再根据自己所面对的领域特征,形成解决具体实际问题的方案。这也是让云计算在海量数据处理领域真正发挥作用的有效途径。 3,云计算是一种服务,在云计算应用架构设计中,就必须考虑作为服务与普通的产品设计有哪些不同?需要考虑的产品的服务特征有哪些?如何搭建面向不同层次、合适的服务平台?在这个过程中,我们需要考虑哪些问题?有哪些成功的案例?有些什么解决方案? 4,云计算应用最重要的问题是安全问题。安全不是一个后期需要解决的独立问题,而是在前期就需要投入巨大精力来考虑的产品策略。可以说,安全性与可用性是云计算能否顺利实施与应用的关键点,也是云计算架构设计的关键因素。我们应该如何考虑安全问题?如何解决诸如数据安全、网络安全、主机安全、数据管理以及灾难恢复等一系列问题?如何制定合适的安全性与可用性策略?在实践中有什么经验和教训? 5,为了把传统数据中心改造为基于云计算的服务系统,虚拟化是一个重要手段。我们必须深入研究虚拟化技术是如何实现的。虚拟化技术有哪几个层面的问题?如何正确应用虚拟化技术来实现把基础设施向服务转型?各种虚拟化技术有些什么优点?有哪些陷阱?如何规划技术解决方案?如何正确进行云计算体系结构设计? 本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深对于这些解决方案的理解。通过本课程学习,希望推动国内云计算项目开发上升到一个新水平。 五、培训内容 第一讲 云计算的概念与现状 ? 1)云计算的概念 ? 2)云计算发展现状 ? 3)云计算实现机制 ? 4)云计算的发展环境 ? 5)云计算的优势 第二讲 从Google云计算体系,理解海量数据处理的方法 ? 1)如何构建海量存储文件系统? ????? GFS系统架构 ????? GFS容错机制 ????? GFS系统管理技术 ????? MapReduce产生背景 ????? MapReduce编程模型 ????? MapReduce实现机制 ????? MapReduce案例分析 ? 2)如何提供锁服务解决分布式数据一致性问题? ????? Chubby的设计思路 ????? Chubby中的Paxos算法 ????? Chubby文件系统 ? 3)如何建立规模庞大的高性能表结构? ????? BigTable设计目标 ????? BigTable系统架构 ????? BigTable服务器 ????? BigTable性能优化 ? 4)如何建立高可用性和高可扩展性的数据系统? ????? Megastore设计目标 ????? Megastore数据模型 ????? Megastore事务及并发控制? ????? Megastore基本架构 ????? Dapper监控系统 ????? Dapper关键性技术 ????? Dapper工具 第三讲 从Hadoop云计算项目,进一步研究云数据处理方法 ? 1)HDFS:高可靠性处理机制及应用 ????? Hadoop项目简介 ????? HDFS体系结构 ????? HDFS关键运行机制 ????? Hadoop vs Google ????? Hadoop API ????? Hadoop环境搭建 ? 2)HBASE:庞大、极其稀疏的可扩展性数据模型 ????? Hbase简介 ????? HBase的运行机制 ????? HBase与 HDFS ????? HBase的对外接口 ????? ZooKeeper的数据模型 ????? ZooKeeper的读写机制 ????? ZooKeeper的使用方法 第四讲 从Windows Azure,理解平台即服务的本质 ? 1)微软云计算平台 ? 2)微软云操作系统Windows Azure ? 3)微软云关系数据库SQL Azure ? 4)Azure AppFabric ? 5)Azure Marketplace 第五讲 从Amazon云计算,讨论如何提供云服务 ??1)Dynamo基础存储架构 ? 2)弹性计算云EC2 ? 3)简单存储服务S3 ? 4)简单队列服务SQS? ? 5)简单数据库服务Simple DB ? 6)关系数据库服务RDS ? 7)内容推送服务CloudFront 第六讲 实施云计算的关键点:安全策略 ? 1)云计算安全是一个必须前期重视的策略 ? 2)云计算的特征与安全挑战 ? 3)云计算的安全体系与关键技术 ? 4)基础架构云安全框架 ? 5)云计算安全平台 第七讲 当前数据中心如何向云计算环境转变? ? 1)VMware云产品 ? 2)云管理平台 vCenter ? 3)vCloud Service Director ? 4)VMware的网络和存储虚拟化 ? 5)主流商业云计算解决方案比较 ? 6)主流开源云计算系统比较? ? 7)国内代表性云计算平台比较? 第八讲 基础设施即服务(IaaS)关键实现技术 ? 1)IaaS技术体系概述 ? 2)服务器虚拟化技术 ????? CPU虚拟化 ????? 内存虚拟化 ????? I/O虚拟化 ? 3)存储虚拟化技术 ????? 存储系统概述 ????? 存储设备层的存储虚拟化 ????? 块聚合层的存储虚拟化 ????? 文件/记录层的存储虚拟化 ? 4)主机网络虚拟化 第九讲 软件即服务(SaaS)关键实现技术 ? 1)SaaS技术概述 ??2)呈现层技术综述 ? 3)调度层技术 ????? 基于DNS的调度 ????? 基于虚拟IP的调度 ????? 基于链路聚合的调度 ????? 基于应用的调度 ????? 调度策略 ? 4)业务层 ? 5)数据层 ? 6)用户管理和配置管理 ? 7)用户体验的设计 ? 8)课程总结 ?? 六、培训目标 1,深入理解通过云计算实现海量数据处理的思想、方法与实践。 2,理解安全性和可用性设计的问题、方法与实践。 3,掌握把传统数据中心改造成云计算中心的技术与方法。 4,掌握虚拟化技术的核心技术方法以及应用特征。(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |