加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > Windows > 正文

在Windows 10 环境下安装 Hadoop-3.1.2

发布时间:2020-12-14 03:56:27 所属栏目:Windows 来源:网络整理
导读:这里分五个步骤来记录Hadoop安装步骤,以及启动和运行Hadoop。 一是安装Java运行环境,二是安装Hadoop,三是修改Hadoop安装目录下的配置文件,四是启动Hadoop,五是运行一个Hadoop自带的mapreduce的实例。 Windows 10 JDK 1.8.0_73 Hadoop 3.1.2 ? 【第一步

这里分五个步骤来记录Hadoop安装步骤,以及启动和运行Hadoop。

一是安装Java运行环境,二是安装Hadoop,三是修改Hadoop安装目录下的配置文件,四是启动Hadoop,五是运行一个Hadoop自带的mapreduce的实例。

Windows 10

JDK 1.8.0_73

Hadoop 3.1.2

?

【第一步】

Hadoop是一个分布式处理大数据的软件框架,是基于java编写的;在下载使用前,需要有Java的编译环境(JRE)或Java的开发工具(JDK)。

因为JDK已经包含了JRE,所以这里我装的是jdk1.8.0_73;安装之后配置环境变量。????????????????

如果查看本机是否已经有Java运行环境了呢?在windows自带的Command?Prompt (CMD)里输入:java -version

显示如下,则证明已经装好。
  java version "1.8.0_73"
  Java(TM) SE Runtime Environment (build 1.8.0_73-b02)
  Java HotSpot(TM) 64-Bit Server VM (build 25.73-b02,mixed mode)

?

【第二步】

从Apache官网下载Hadoop,地址是 https://hadoop.apache.org/releases.html ,选择binary?版本,下载下来的文件名是?hadoop-3.1.2.tar.gz?。

(备注:binary表示已编译好的二进制包文件包,即解压缩后可直接使用;source表示源代码版本,需要通过计算机编译才能执行安装)

在本地解压安装包到自定义的地址,比如我的安装路径是 D:MyFolderHadoophadoop-3.1.2 。

????????????????

然后为Hadoop配置windows环境变量。点击?我的电脑?→?属性?→?高级系统设置?→?环境变量:

新添加一个变量名?HADOOP_HOME,?变量值?D:MyFolderHadoophadoop-3.1.2 (这里使用你自己的安装路径);

在已有变量名Path(如果没有就新添加一个变量名Path)下,加上两个变量值?%HADOOP_HOME%bin?和?%HADOOP_HOME%sbin。

在windows自带的Command?Prompt (CMD)里输入:?hadoop version

显示如下,则证明Hadoop环境变量已经配好。

  Hadoop 3.1.2
  Source code repository https://github.com/apache/hadoop.git -r 1019dde65bcf12e05ef48ac71e84550d589e5d9a
  Compiled by sunilg on 2019-01-29T01:39Z
  Compiled with protoc 2.5.0
  From source with checksum 64b8bdd4ca6e77cce75a93eb09ab2a9
  This command was run using /D:/MyFolder/Hadoop/hadoop-3.1.2/share/hadoop/common/hadoop-common-3.1.2.jar

?

【第三步】

这一步需要对Hadoop安装目录下的配置文件进行一些修改,这些修改决定了我们能否启动Hadoop。

????????????????

?

【第四步】

???????????????

检查Hadoop是否已经启动成功,只需cmd窗口输入:jps

如显示以下五个进程名称,则证明成功。

  109824 Jps
  29780 ResourceManager
  107300 DataNode
  107112 NameNode
  40316 NodeManager

?

访问管理GUI????

?

?

【第五步】

Hadoop是一个分布式文件系统,是用来处理文件/数据的。它自带了用mapreduce处理数据的jar包,如hadoop-mapreduce-examples-3.1.2.jar,所以我们就在此运行一个例子,观察Hadoop如何处理????

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读