python – Spark工作人员不断删除和添加执行程序
发布时间:2020-12-20 13:10:16 所属栏目:Python 来源:网络整理
导读:我尝试使用本地Ubuntu虚拟机作为主服务器构建一个spark集群,并使用远程Ubuntu虚拟机作为worker. 当本地虚拟机在虚拟机中运行时,为了使远程访客可以访问它,我将虚拟机的7077端口转发到主机的7077端口. 我开始掌握: ./sbin/start-master.sh -h 0.0.0.0 -p 707
我尝试使用本地Ubuntu虚拟机作为主服务器构建一个spark集群,并使用远程Ubuntu虚拟机作为worker.
当本地虚拟机在虚拟机中运行时,为了使远程访客可以访问它,我将虚拟机的7077端口转发到主机的7077端口. 我开始掌握: ./sbin/start-master.sh -h 0.0.0.0 -p 7077 我让它在0.0.0.0上监听,因为如果我使用默认的127.0.1.1,远程访客将无法连接到它. ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://129.22.151.82:7077 工作人员可以连接到主服务器,可以在UI上看到: 然后我尝试运行“pi”示例python代码: from pyspark import SparkContext,SparkConf conf=SparkConf().setAppName("Pi").setMaster("spark://0.0.0.0:7077) sc=SparkContext(conf=conf) …. Using Spark's default log4j profile: org/apache/spark/log4j- defaults.properties 16/02/25 13:22:22 INFO CoarseGrainedExecutorBackend: Registered signal handlers for [TERM,HUP,INT] 16/02/25 13:22:22 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 16/02/25 13:22:23 INFO SecurityManager: Changing view acls to: kxz138,adminuser 16/02/25 13:22:23 INFO SecurityManager: Changing modify acls to: kxz138,adminuser 16/02/25 13:22:23 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(kxz138,adminuser); users with modify permissions: Set(kxz138,adminuser) **16/02/25 13:22:23 ERROR UserGroupInformation: PriviledgedActionException as:adminuser (auth:SIMPLE) cause:java.io.IOException: Failed to connect to /10.0.2.15:34935 Exception in thread "main" java.io.IOException: Failed to connect to /10.0.2.15:34935** at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216) at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:167) at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:200) at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:187) 我注意到这里的错误实际上是一个网络问题.工作人员实际上是尝试访问10.0.2.15,这是我的虚拟机的本地NAT IP地址,但是失败了. 顺便说一句,我已经设置了从主服务器到服务器的无密钥ssh访问. 解决方法
我通过确保群集中的VM属于同一子网来解决问题.例如,最初,我将IP 192.168.56.101设置为主节点,将192.168.57.1??01设置为工作节点,并将255.255.255.0作为子网掩码.但这意味着两个IP地址不在同一子网内.将子网掩码更改为例如255.255.0.0后,我可以正常运行我的应用程序.您可能还需要相应地编辑一些配置文件(例如,?/ .bashrc,conf / spark-env.sh,conf / slaves.sh,conf / spark-default.conf和/ etc / hosts)
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容