scala – 使用typedcolumn选择Spark数据集

发布时间：2020-12-16 18:46:15 所属栏目：安全来源：网络整理

导读：查看spark DataSet上的select()函数,有各种生成的函数签名： (c1: TypedColumn[MyClass,U1],c2: TypedColumn[MyClass,U2] ....) 这似乎暗示我应该能够直接引用MyClass的成员并且类型安全,但我不确定如何… ds.select(“成员”)当然有效..似乎ds.select(_.成

查看spark DataSet上的select()函数,有各种生成的函数签名：

(c1: TypedColumn[MyClass,U1],c2: TypedColumn[MyClass,U2] ....)

这似乎暗示我应该能够直接引用MyClass的成员并且类型安全,但我不确定如何…

ds.select(“成员”)当然有效..似乎ds.select(_.成员)也可能以某种方式工作？

解决方法

在Scala DSL for select中,有许多方法可以识别列：

>从一个符号：’名字
>来自字符串：$“name”或col(name)
>从表达式：expr(“nvl(name,’unknown’)重命名”)

要从Column获取TypedColumn,只需使用myCol.as [T].

例如：ds.select(col(“name”).as [String])

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!