java – Hadoop要求输入路径在localhost 9000上

发布时间：2020-12-15 04:08:52 所属栏目：Java 来源：网络整理

导读：我试图运行Tom Whites的第2章示例当我运行命令时： hadoop MaxTemperature input/ncdc/sample.txt output 我得到的错误是这样的： 11/12/31 18:08:28 INFO mapred.JobClient: Cleaning up the staging area hdfs://localhost:9000/tmp/hadoop-mymac/mapred/

我试图运行Tom Whites的第2章示例

当我运行命令时：

hadoop MaxTemperature input/ncdc/sample.txt output

我得到的错误是这样的：

11/12/31 18:08:28 INFO mapred.JobClient: Cleaning up the staging area hdfs://localhost:9000/tmp/hadoop-mymac/mapred/staging/mymac/.staging/job_201112311807_0001
11/12/31 18:08:28 ERROR security.UserGroupInformation: PriviledgedActionException as:mymac (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/mymac/input/ncdc/sample.txt
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/mymac/input/ncdc/sample.txt

我错了什么？

我没有触及他的源代码,可以在这里找到：

https://github.com/tomwhite/hadoop-book/tree/3e/ch02

解决方法

您的core-site.xml和hdfs-site.xml文件配置为使用localhost：9000.如果这不是你所期望的(这是我从你的帖子中得到的),你有什么期望？

我们在谈论什么版本的Hadoop？您是如何安装Hadoop发行版的？从你的其他问题和配置文件,我猜你用过CHD4.如果你看一下the instructions from Cloudera,你能看出你错过了什么吗？

在启动Hadoop之前,您是否格式化了HDFS？

$hadoop namenode -format

然后,在启动Hadoop之后,除了INFO消息之外你还得到什么吗？

您是否将输入数据复制到HDFS中？

$hadoop dfs -put /tmp/my/input/data input

最后,您从简单的HDFS命令中获得了什么,例如：

$hadoop dfs -ls /

更新：运行字数

>启动并运行HDFS.运行hadoop dfs -ls /应该可以工作.
>将包含文本文件的文件夹复制到HDFS：hadoop dfs -put text_files input_folder
>运行hadoop dfs -ls.查看您的文件是否被正确复制.
>在系统中找到hadoop-examples-X.Y.Z.jar文件.
>导航到它所在的目录,然后运行：

$hadoop jar hadoop-examples – * .jar WordCount input_folder output_folder.>您应该看到MapReduce应用程序的进度.>完成后,使用hadoop dfs -cat output_folder / *查看输出.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!