scala – 如何从Spark DataFrame中选择稳定的行子集？

发布时间：2020-12-16 18:37:06 所属栏目：安全来源：网络整理

导读：我已经将一个文件加载到Zeppelin笔记本中的DataFrame中,如下所示： val df = spark.read.format("com.databricks.spark.csv").load("some_file").toDF("c1","c2","c3") 这个DataFrame有大约1000万行,我想开始只使用一部分行,所以我使用limit： val df_small

我已经将一个文件加载到Zeppelin笔记本中的DataFrame中,如下所示：

val df = spark.read.format("com.databricks.spark.csv").load("some_file").toDF("c1","c2","c3")

这个DataFrame有大约1000万行,我想开始只使用一部分行,所以我使用limit：

val df_small = df.limit(1000)

但是,现在当我尝试在其中一列的字符串值上过滤DataFrame时,每次运行以下操作时都会得到不同的结果：

df_small.filter($"c1" LIKE "something").show()

如何为运行的每个过滤器获取一个保持稳定的df子集？

解决方法

Spark作为一个延迟加载工作,所以只有在语句.show上面才会执行2个语句.你可以把df_small写入一个文件,每次都可以单独阅读或者执行df_small.cache()

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!