scala – Spark：我已失去参考的unpersist RDD

发布时间：2020-12-16 09:58:53 所属栏目：安全来源：网络整理

导读：如何在MLlib模型中生成的RDD,我没有参考？我知道在pyspark中你可以使用sqlContext.clearCache()来解决所有数据帧的问题,scala API中的RDD有类似的东西吗？此外,有没有一种方法可以解决一些RDD,而不必全部解开？解决方法你可以打电话 val rdds = sparkCont

如何在MLlib模型中生成的RDD,我没有参考？

我知道在pyspark中你可以使用sqlContext.clearCache()来解决所有数据帧的问题,scala API中的RDD有类似的东西吗？此外,有没有一种方法可以解决一些RDD,而不必全部解开？

解决方法

你可以打电话

val rdds = sparkContext.getPersistentRDDs(); // result is Map[Int,RDD]

然后过滤值以获得所需的值(1)：

rdds.filter (x => filterLogic(x._2)).foreach (x => x._2.unpersist())

(1) – 手写,没有编译器 – 抱歉,如果有一些错误,但不应该;)

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!