加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

Hadoop单机学习环境配置

发布时间:2020-12-17 01:24:18 所属栏目:Python 来源:网络整理
导读:: 以下是简单命令摘要: 安装虚拟机VM ——> 安装centos ——> 1. 生成组用户 sudo groupadd hadoop sudo useradd –s /bin/bash –d /home/ztf –m ztf –g hadoop –G admin sudo passwd zhm su zhm? /etc/sudoers: ## Allow root to run any commands a

以下是简单命令摘要:

安装虚拟机VM ——> 安装centos ——>

1. 生成组用户

sudo groupadd hadoop
sudo useradd –s /bin/bash –d /home/ztf –m ztf –g hadoop –G admin
sudo passwd zhm
su zhm?
/etc/sudoers:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL

ztf ALL=(ALL) ALL

2. 生成SSH

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cd .ssh/

id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:

cat id_dsa.pub >> authorized_keys

单机回环免密码登陆测试:

ssh localhost

exit

3. ssh连接master与slave节点

scp ztf@master:~/.ssh/id_dsa.pub ./master_dsa.pub

cat master_dsa.pub >> authorized_keys

如果连接失败,则需要关闭master主机防火墙:systemctl stop firewalld.service

进入master主机.ssh目录测试连接:

ssh slave1?

exit

ssh slave1

exit

第一遍连接需要输入密码,第二次不需要输入密码。

4.?下载并解压hadoop安装包

我是下载到windows,设置了虚拟机与linux的共享文件,把安装包放在共享文件夹下,同步到三个虚拟机中。

设置方式:

前提条件:vmware workstation 软件+centos

1)?将虚拟机关机。

①将虚拟机关机。选中需要操作的虚拟机,右击鼠标,弹出对话框,选择settings。

②弹出的对话框中选择option标签页中的share folder,点add增加共享路径,别忘了勾选always enable。

2)?安装vmware-tools。
①运行虚拟机,启动后鼠标右键需要设置的虚拟机,在弹出的对话框中选择Install Vmware Tools,这时,vmware会自己去网上下载工具。(虚拟机非开机状态,安装vmware-tools选项为灰色)

?②vmware工具下载完成后,显示提示框,告诉你怎么安装,见下图。它说vmware tools工具放在ISO镜像中,把镜像挂载上去,然后把里面的包解压,运行vmware-install.pl,就可以的。

3)?安装完成后就大功告成了,可以去cd /mnt/hgfs/,然后ls,就可以看到共享的文件夹了。




----------------------------------------------------

配置过程中常用命令解析:

su - :su命令和su -命令最大的本质区别就是,前者只是切换了root身份,但Shell环境仍然是普通用户的Shell;而后者连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误。

sudo su -:通过sudo,我们能把某些超级权限有针对性的下放,并且不需要普通用户知道root密码,所以sudo 相对于权限无限制性的su来说是比较安全的。sudo 也能被称为受限制的su,或授权许可的su。sudo 执行命令的流程是当前用户切换到root(或其它指定切换到的用户),然后以root(或其它指定的切换到的用户)身份执行命令,执行完成后,直接退回到当前用户;而这些的前提是要通过sudo的配置文件/etc/sudoers来进行授权;


(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读