加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

scala – Spark错误:初始作业未接受任何资源;检查群集UI以确保

发布时间:2020-12-16 18:49:33 所属栏目:安全 来源:网络整理
导读:我有一个虚拟机,其中安装了独立模式的spark-2.0.0-bin-hadoop2.7. 我运行了./sbin/start-all.sh来运行主服务器和从服务器. 当我这样做./bin/spark-shell –master spark://192.168.43.27:7077 –driver-memory 600m –executor-memory 600m –executor-cor
我有一个虚拟机,其中安装了独立模式的spark-2.0.0-bin-hadoop2.7.

我运行了./sbin/start-all.sh来运行主服务器和从服务器.

当我这样做./bin/spark-shell –master spark://192.168.43.27:7077 –driver-memory 600m –executor-memory 600m –executor-cores 1在机器本身,任务的状态是RUNNING和我能够在spark shell中计算代码.

ran spark shell in virtual machine

当我从网络中的另一台机器执行完全相同的命令时,状态再次为“RUNNING”,但spark-shell抛出WARN TaskSchedulerImpl:初始作业未接受任何资源;检查群集UI以确保工作人员已注册并具有足够的资源.我想问题与资源没有直接关系,因为相同的命令在虚拟机本身中起作用,但在来自其他机器时却不起作用.

ran spark shell through another machine in the network

我查看了与此错误相关的大多数主题,但没有一个解决了我的问题.我甚至禁用防火墙和sudo ufw禁用只是为了确保但没有成功(基于this link)这暗示:

Disable Firewall on the client : This was the solution that worked for me. Since I was working on a prototype in-house code,I disabled the firewall on the client node. For some reason the worker nodes,were not able to talk back to the client for me. For production purposes,you would want to open-up certain number of ports required.

解决方法

这有两个已知的原因:

>您的应用程序需要比分配的资源(核心,内存)更多的资源.增加工作者核心和内存应该解决它.大多数其他答案都集中于此.
>在不太知名的地方,防火墙阻碍了主人和工人之间的沟通.这可能发生,尤其是您正在使用云服务.根据Spark Security,除了标准的8080,8081,7077,4040端口,您还需要确保主设备和工作人员可以通过SPARK_WORKER_PORT,spark.driver.port和spark.blockManager.port进行通信;后三者用于提交作业,由程序随机分配(如果未配置).您可以尝试打开所有端口以运行快速测试.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读