记录一次在windows上安装hadoop

发布时间：2020-12-14 02:13:34 所属栏目：Windows 来源：网络整理

导读：1. 首先前往https://hadoop.apache.org/releases.html下载自己喜欢的hadoop版本。由于winutil只支持2.8的，所以不要太高版本。解压。下载的是2.8.5 2.前往https://github.com/steveloughran/winutils/releases下载winutils。编译windows 的hadoop必须，因为h

1. 首先前往https://hadoop.apache.org/releases.html下载自己喜欢的hadoop版本。由于winutil只支持2.8的，所以不要太高版本。解压。下载的是2.8.5

2.前往https://github.com/steveloughran/winutils/releases下载winutils。编译windows 的hadoop必须，因为hadoop官网支持linux。解压并覆盖至hadoop/bin目录。下载的是2.8.1

3.修改配置文件etchadoop下

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml 目录随意自己喜欢

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>namenode目录</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>data目录</value>  
    </property>
</configuration>

mapred-site.xml 通过template复制修改

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

4. 格式化并启动

进入hadoop bin目录，

hadoop namenode -format

进入sbin 目录 start-all.cmd;

因为不知道怎么直接执行子目录bat，于是只能不停地cd.....

这时可以进入localhost:8088 查看页面

还有一个localhost:50070(3.0版本以上是9870端口);

5.执行wordcount

创建input目录并复制文件进去：

hadoop fs -mkdir /input
hadoop fs -put *.txt /input

执行，由于没有设置classpath，于是直接全名:

hadoop jar E:sthadoop-2.8.5hadoop-2.8.5sharehadoopmapreducehadoop-mapreduce-examples-2.8.5.jar org.apache.hadoop.examples.WordCount /input /output

查看结果

hadoop fs -cat /output/part-r-00000

over

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!