python – Spark的KMeans无法处理bigdata吗？

再现问题的最小示例(如果我使用1000点或随机初始化,它将成功)：

from pyspark.context import SparkContext

from pyspark.mllib.clustering import KMeans
from pyspark.mllib.random import RandomRDDs


if __name__ == "__main__":
    sc = SparkContext(appName='kmeansMinimalExample')

    # same with 10000 points
    data = RandomRDDs.uniformVectorRDD(sc,10000000,64)
    C = KMeans.train(data,8192,maxIterations=10)    

    sc.stop()

这项工作什么都不做(它没有成功,失败或进展……),如下所示. “执行程序”选项卡中没有活动/失败的任务. Stdout和Stderr Logs没有特别有趣的东西：

如果我使用k = 81而不是8192,它将成功：

注意两个调用takeSample(),should not be an issue,因为在随机初始化的情况下调用了两次.

那么,发生了什么？ Spark的Kmeans无法扩展吗？有人知道吗？你可以重现吗？

如果是内存问题,I would get warnings and errors,as I had been before.

注意：placeybordeaux的注释基于在客户端模式下执行作业,其中驱动程序的配置无效,导致退出代码143等(请参阅编辑历史记录),而不是群集模式,其中根本没有报告错误,应用程序只是挂起.

从零323：Why is Spark Mllib KMeans algorithm extremely slow?是相关的,但我认为他见证了一些进展,而我的挂起,我确实发表评论……