Pyspark：异常：Java网关进程在发送驱动程序的端口号之前退出

发布时间：2020-12-15 00:10:36 所属栏目：Java 来源：网络整理

导读：我试图在我的macbook上运行pyspark.当我尝试启动它,我得到错误： Exception: Java gateway process exited before sending the driver its port number 当sc = SparkContext()在启动时被调用.我尝试运行以下命令： ./bin/pyspark./bin/spark-shellexport PYS

我试图在我的macbook上运行pyspark.当我尝试启动它,我得到错误：

Exception: Java gateway process exited before sending the driver its port number

当sc = SparkContext()在启动时被调用.我尝试运行以下命令：

./bin/pyspark
./bin/spark-shell
export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

没有用.我也看过这里：

Spark + Python – Java gateway process exited before sending the driver its port number?

但问题从未得到解决.请帮忙！谢谢.

解决方法

这应该会帮助你

一个解决方案是将pyspark-shell添加到shell环境变量PYSPARK_SUBMIT_ARGS中：

export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

python / pyspark / java_gateway.py有一个变化,如果用户设置了PYSPARK_SUBMIT_ARGS变量,则需要PYSPARK_SUBMIT_ARGS包含pyspark-shell.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!