scala – 如果RDD无法适应Spark中的内存会怎样？

发布时间：2020-12-16 09:51:09 所属栏目：安全来源：网络整理

导读：参见英文答案 What will spark do if I don’t have enough memory?????????????????????????????????????3个据我所知,Spark会尝试在内存中进行所有计算,除非您使用磁盘存储选项调用persist.但是,如果我们不使用任何持久性,当RDD不适合内存时,Spark会做什么

参见英文答案 > What will spark do if I don’t have enough memory?????????????????????????????????????3个
据我所知,Spark会尝试在内存中进行所有计算,除非您使用磁盘存储选项调用persist.但是,如果我们不使用任何持久性,当RDD不适合内存时,Spark会做什么？如果我们有非常庞大的数据怎么办？ Spark如何处理它而不会崩溃？

解决方法

来自Apache Spark常见问题解答：

如果Spark的运算符不适合内存,它可以将数据溢出到磁盘,从而可以在任何大小的数据上运行良好.同样,不适合内存的缓存数据集要么溢出到磁盘,要么在需要时动态重新计算,这由RDD的存储级别决定.

请参阅以下链接以了解有关存储级别以及如何在这些级别之间选择适当的存储级别的更多信息：

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!