scala – Spark错误:初始作业未接受任何资源;检查群集UI以确保
我有一个虚拟机,其中安装了独立模式的spark-2.0.0-bin-hadoop2.7.
我运行了./sbin/start-all.sh来运行主服务器和从服务器. 当我这样做./bin/spark-shell –master spark://192.168.43.27:7077 –driver-memory 600m –executor-memory 600m –executor-cores 1在机器本身,任务的状态是RUNNING和我能够在spark shell中计算代码. 当我从网络中的另一台机器执行完全相同的命令时,状态再次为“RUNNING”,但spark-shell抛出WARN TaskSchedulerImpl:初始作业未接受任何资源;检查群集UI以确保工作人员已注册并具有足够的资源.我想问题与资源没有直接关系,因为相同的命令在虚拟机本身中起作用,但在来自其他机器时却不起作用. 我查看了与此错误相关的大多数主题,但没有一个解决了我的问题.我甚至禁用防火墙和sudo ufw禁用只是为了确保但没有成功(基于this link)这暗示:
解决方法
这有两个已知的原因:
>您的应用程序需要比分配的资源(核心,内存)更多的资源.增加工作者核心和内存应该解决它.大多数其他答案都集中于此. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |