scala – 数据框架操作

发布时间：2020-12-16 19:17:42 所属栏目：安全来源：网络整理

导读：我使用Spark 1.3的DataFrame API. 我希望从DataFrame中的日期获取星期几,而不会丢失DataFrame的所有元素. 在使用DataFrame API之前,我曾经使用jodatime将其放在简单的地图上. 现在有一个有效的解决方案： sqlContext.createDataFrame(myDataFrame.map(l=oper

我使用Spark 1.3的DataFrame API.

我希望从DataFrame中的日期获取星期几,而不会丢失DataFrame的所有元素.

在使用DataFrame API之前,我曾经使用jodatime将其放在简单的地图上.

现在有一个有效的解决方案：

sqlContext.createDataFrame(myDataFrame.map(l=>operationOnTheField(l)),myDataFrame.schema))

是否可以在不返回RDD [Row]上的地图的情况下进行操作,然后使用此RDD创建DataFrame？

解决方法

试试这个

Table.select(Table("Otherkey"),MyUdf(Table("ColNeeded")).as("UdfTransformed"))

MyUdf是由你定义的udf.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!