java-通过scala.sys.process API在spark-scala中执行外部命令s3-
发布时间:2020-12-14 19:30:34 所属栏目:Java 来源:网络整理
导读:当我在unix shell / terminal中运行所有这3个命令时,它们都工作正常,返回退出状态为0 unix_shell ls -launix_shell hadoop fs -ls /user/hadoop/tempunix_shell s3-dist-cp --src ./abc.txt --dest s3://bucket/folder/ 现在我试图通过scala process api作为
当我在unix shell / terminal中运行所有这3个命令时,它们都工作正常,返回退出状态为0
现在我试图通过scala process api作为外部进程运行这些相同的命令,示例代码如下:
以上cmd_3和cmd_4之间的区别只是绝对路径.
您的意见/建议将有所帮助.谢谢 ! 最佳答案
好像您所做的事情是对的.请参阅此处
https://github.com/gorros/spark-scala-tips/blob/master/README.md
请检查此注释…我不知道您是否遇到这种情况. 关于您的–jars /usr/lib/hadoop/client/*.jar 您可以使用tr命令(如this. see my answer)附加与s3-dist-cp相关的jars
注意:要使用此方法,您需要添加Hadoop应用程序,并且需要在客户端或本地模式下运行Spark,因为s3-dist-cp在从属节点上不可用.如果要在群集模式下运行,请在引导过程中将s3-dist-cp命令复制到从属服务器. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |