windows环境下安装hadoop
本地环境
hadoop-2.7.3.tar.gz下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ windows下面安装的,跟Linux下不一样,所以我们需要windows下运行的链接库,下载hadoopWindowsPlug将解压的bin目录和etc目录替换掉你的本地hadoop里面的bin和etc即可,etc目录最好还是你自己配置。 替换完成之后我们别忘了检查你的环境变量,配置到环境变量: HADOOP_HOME
D:hadoop-2.7.3
在path里面加上: %HADOOP_HOME%bin;
然后配置etc/hadoop里面的5个文件: core-site.xml <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-2.7.3/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-2.7.3/data/datanode</value>
</property>
</configuration>
mapred-site.xml <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml <configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
hadoophadoop-env.cmd set JAVA_HOME=%JAVA_HOME%或者
set JAVA_HOME=jdk安装路径
到hadoop根目录,如果没有data文件夹的话就新建一个,然后在data下分别创建datanode、namenode两个文件夹,接下来我们需要格式化namenode,进入hadoop/bin目录执行: hadoop namenode -format
执行完毕再进入sbin目录执行启动命令: start-all.cmd
接着会启动四个窗口,分别启动本地的namenode,datanode,你可以使用jps命令查看是否启动完成: 如上便是成功启动啦,接着我们可以启动浏览器查看datanode控制台和mapreduce控制台: http://localhost:50070 http://localhost:8088/cluster 这样我们的本地开发环境就搭建好了。 停止服务使用如下命令: sbin目录下执行: stop-all.cmd (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
- windows – 将’open’传递给ShellExecute不会在特定计算机
- windows-phone-7 – 如何让用户浏览HTML / WebSite内容而不
- 如何在.NET应用程序中为选定的操作正确实现“以管理员身份”
- 如何更改?pcAnywhere?IP?端口
- WinForm事件中的Object sender和EventArgs e参数
- windows-server-2008 – 本地组策略在Dc中做了什么?
- windows-server-2008-r2 – Windows服务无法自动启动?
- 什么命令在终端中创建一个新文件?
- 带有ANSI代码的文本编辑器/查看器,支持Windows
- windows-phone-7.1 – 在Windows Phone 7(Mango)上的HttpWe