scala – 从Spark Dataframe中删除空字符串

发布时间：2020-12-16 09:08:43 所属栏目：安全来源：网络整理

导读：试图删除Spark数据帧列包含空字符串的行.最初做了val df2 = df1.na.drop()但事实证明这些值中的许多都被编码为“”. 我坚持使用Spark 1.3.1并且也不能依赖DSL. (导入spark.implicit_不起作用.) 解决方法从数据框中删除东西需要filter(). newDF = oldDF.filt

试图删除Spark数据帧列包含空字符串的行.最初做了val df2 = df1.na.drop()但事实证明这些值中的许多都被编码为“”.

我坚持使用Spark 1.3.1并且也不能依赖DSL. (导入spark.implicit_不起作用.)

解决方法

从数据框中删除东西需要filter().

newDF = oldDF.filter("colName != ''")

还是我误解了你的问题？

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!