具有Docker的多节点Hadoop集群

发布时间：2020-12-16 03:33:53 所属栏目：安全来源：网络整理

导读：我正在基于Docker的环境中规划多节点Hadoop集群的阶段.所以它应该基于轻量级易用的虚拟化系统. 当前架构(关于文档)包含1个主节点和3个从节点.该主机使用HDFS文件系统和KVM进行虚拟化. 整个云由Cloudera Manager管理.此群集上安装了多个Hadoop模块.还有一个No

我正在基于Docker的环境中规划多节点Hadoop集群的阶段.所以它应该基于轻量级易用的虚拟化系统.
当前架构(关于文档)包含1个主节点和3个从节点.该主机使用HDFS文件系统和KVM进行虚拟化.
整个云由Cloudera Manager管理.此群集上安装了多个Hadoop模块.还有一个NodeJS数据上传服务.
这次我应该建立基于Docker的架构.
我已阅读了几篇教程并提出了一些意见,但也提出了一些问题.

A.您如何看待https://github.com/Lewuathe/docker-hadoop-cluster是我项目的良好基础？我发现了官方image,但它是单节点.

B.如果我想在单个容器中进行此操作,系统要求将如何变化？这将是很好的,因为这种架构应该在不同的位置工作,因此可以在这些位置之间轻松传输更改.这些所谓的克隆之间的同步将是重要的.

C.你有其他想法,也许是最佳做法？

要解决您的问题C.,您可能需要查看BlueData的软件平台：http://www.bluedata.com/blog/2015/06/docker-containers-big-data-clusters

它旨在在基于Docker的环境中运行多节点Hadoop集群,并且有一个可供下载的免费版本(您也可以在AWS EC2实例中运行它).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!