在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop
在Linux(Centos7)系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?@Auther:MrZhangxd? ??2019-04-28? ?21:32:00 ? Hadoop单机配置(非分布式)? Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。 现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。 在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。 ?
?
?
?
?
若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”,这需要执行如下命令修改 hosts 文件,为你的主机名增加IP映射:
设置主机名的IP映射: ? 保存文件后,重新运行 hadoop 实例,若执行成功的话会输出很多作业的相关信息,最后的输出信息如下图所示。作业的结果会输出在指定的 output 文件夹中,通过命令 cat ./output/* 查看结果,符合正则的单词 dfsadmin 出现了1次: ? Hadoop例子输出结果:略 ? 注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。
??Hadoop伪分布式配置?
在设置 Hadoop 伪分布式配置前,我们还需要设置 HADOOP 环境变量,执行如下命令在 ~/.bashrc 中设置:
将如下语句输入保存到bashrc
运行如下命令配置才能生效
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
进行如下配置:然后<Ctrl+S>保存 Core-site.xml
?
进行如下配置:然后<Ctrl+S>保存 Core-site.xml
配置完成后,首先进行NameNode的格式化
其次进行DataNode的格式化
最后开启NameNode和DataNode两个守护进程
启动后通过命令jps来查看 成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。 ??运行Hadoop伪分布式实例? ? 上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:
接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是/user/hadoop/input:
?
复制完成后,可以通过如下命令查看 HDFS 中的文件列表:
伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件
查看运行结果的命令(查看的是位于 HDFS 中的输出结果):
我们也可以将运行结果取回本地:
?
?
Hadoop 正确运行程序时,输出目录不能存在, 否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” 。 因此若要再次执行,需要执行如下命令删除 output 文件夹
? 注意: 运行程序时,输出目录不能存在 运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作: [1]? Configuration conf = new Configuration(); [2]? Job job = new Job(conf); /* 删除输出目录 */ [3]? Path outputPath = new Path(args[1]); [4]? outputPath.getFileSystem(conf).delete(outputPath,true); 启动YARN(伪分布式不启动 YARN 也可以,一般不会影响程序执行)? YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度。YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性。 上面只不过是启动了Hadoop,仅仅是启动了 MapReduce 环境,我们可以启动 YARN ,让 YARN 来负责资源管理与任务调度。 首先修改配置文件 mapred-site.xml,这边需要先进行重命名,命令如下
然后对mapred-site.xml和yarn-site.xml进行配置
?
?
?
紧接着可以启动YARN(需要先执行过 ./sbin/start-dfs.sh)
?
开启后通过 jps 查看,可以看到多了 NodeManager 和 ResourceManager 两个后台进程。然后在web界面查看运行情况http://localhost:8088/cluster. 有开始必然就有结束,结束YARN的命令如下:
?
? ? 加油!宝贝们!!! 最后您也掌握了Hadoop配置及其基本使用。 ? ? 【参考资料】[1]? How to Setup Hadoop 2.7.1 on CentOS,Ubuntu & LinuxMint [2]? Yarn简单介绍及内存配置 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
- linux – 什么是dd if = / dev / zero of = / EMPTY bs = 1
- 防止Linux中的bash(和ksh)历史记录更改
- linux – 使用crontab在@reboot上运行“screen -S name ./s
- 在Linux 3.x上挂钩sys_execve()
- linux – 如何建立功能齐全的小型企业网络?
- Linux安装sdkman
- linux – 让新文件继承其文件夹的扩展ACL
- Linux:打开命名管道进行写入时超时
- linux – 用puppet向/ etc / profile添加行?
- linux – 通过在iptables(Ubuntu)中添加规则来打开端口443