scala – Apache Spark：驱动程序(而不仅仅是执行程序)尝试连接

这是我的设置：

我在独立模式下运行Spark集群.我正在使用4台机器：一台是大师,另外三台是工人.

我编写了一个从Cassandra集群读取数据的应用程序(参见https://github.com/journeymonitor/analyze/blob/master/spark/src/main/scala/SparkApp.scala#L118).

3节点Cassandra集群在同样承载Spark Worker节点的机器上运行. Spark Master节点不运行Cassandra节点：

Machine 1      Machine 2        Machine 3        Machine 4
Spark Master   Spark Worker     Spark Worker     Spark Worker
               Cassandra node   Cassandra node   Cassandra node

这背后的原因是我想优化数据局部性 – 当在集群上运行我的Spark应用程序时,每个Worker只需要与其本地Cassandra节点通信.

现在,当通过从Machine 1(Spark Master)运行spark-submit –deploy-mode client –master spark：// machine-1将我的Spark应用程序提交到集群时,我期望以下内容：

>在Spark Master上启动驱动程序实例
>驱动程序在每个Spark Worker上启动一个Executor
>驱动程序将我的应用程序分发给每个Executor
>我的应用程序在每个执行程序上运行,并从那里通过127.0.0.1:9042与Cassandra交谈

但是,情况似乎并非如此.相反,Spark Master尝试与Cassandra交谈(并且失败了,因为Machine 1主机上没有Cassandra节点).

我误解了什么？它的工作方式不同吗？事实上,驱动程序是否从Cassandra读取数据,并将数据分发给Executors？但是,即使我的集群的总内存足够,我也永远无法读取大于机器1内存的数据.

或者,驱动程序是否与Cassandra联系不读取数据,而是查找如何对数据进行分区,并指示执行者读取数据中的“他们”部分？

如果有人能够引起我的兴趣,那将非常感激.