小白学习大数据测试之hadoop再次探索
引子 虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了,但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看 大数据粗暴理解 大数据甭管什么,简单粗暴的理解为大!大!大!对,你没看错,不管什么都是大就对了,哈哈哈哈 大数据应用的功能抽象出来基本就是:数据采集、数据存储、数据处理(过滤、拆分、聚合)、数据分析、数据应用。说白了就是对从各处采集的数据经过一系列的处理后给出分析,然后应用到不同的场景里或者提供数据报表等。 hadoop架构演变 此处不多说,很明显是做了拆分,集群的资源管理由yarn完成,ta运行在hdfs之上,而MapReduce则运行在yarn之上(后续在搭建环境的时候需要进行对应配置文件的修改) 大数据测试的难点
好了,脑细胞已经死了很多了,不想多说了,洗洗碎了~别忘了关注转发下,小编好有动力继续~ (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |