unix – 将远程文件放入hadoop而不将其复制到本地磁盘

发布时间：2020-12-15 19:55:59 所属栏目：安全来源：网络整理

导读：我正在编写一个shell脚本，以便在生成数据时将数据放入hadoop。我可以ssh到我的主节点，将文件复制到一个文件夹，然后将它们放入hadoop。我正在寻找一个shell命令来摆脱将文件复制到主节点上的本地磁盘。为了更好地解释我需要什么，下面你可以找到我到目前为

我正在编写一个shell脚本，以便在生成数据时将数据放入hadoop。我可以ssh到我的主节点，将文件复制到一个文件夹，然后将它们放入hadoop。我正在寻找一个shell命令来摆脱将文件复制到主节点上的本地磁盘。为了更好地解释我需要什么，下面你可以找到我到目前为止：

1)将文件复制到主节点的本地磁盘：

scp test.txt username@masternode:/folderName/

我已经使用密钥设置了SSH连接。所以不需要密码来做到这一点。

2)我可以使用ssh远程执行hadoop put命令：

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

我正在寻找的是如何将这两个步骤管理/组合成一个，并跳过masterNode的本地磁盘上的文件的本地副本。

谢谢

换句话说，我想以一种我可以管的方式管道几个命令

尝试这个(未测试)：

cat test.txt | ssh username@masternode "hadoop dfs -put - hadoopFoldername/"

我用类似的技巧复制目录：

tar cf - . | ssh remote "(cd /destination && tar xvf -)"

这将本地tar的输出发送到remote-tar的输入。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!