重命名pyspark数据帧聚合的列

发布时间：2020-12-14 00:52:14 所属栏目：百科来源：网络整理

导读：我正在使用pyspark数据框分析一些数据，假设我有一个数据帧df，我正聚合： df.groupBy("group") .agg({"money":"sum"}) .show(100) 这将给我： group SUM(money#2L)A 137461285853B 172185566943C 271179590646 聚合工作很好，但我不喜欢新的列名称“SUM(m

我正在使用pyspark数据框分析一些数据，假设我有一个数据帧df，我正聚合：

df.groupBy("group")
  .agg({"money":"sum"})
  .show(100)

这将给我：

group                SUM(money#2L)
A                    137461285853
B                    172185566943
C                    271179590646

聚合工作很好，但我不喜欢新的列名称“SUM(money#2L)”。有没有一种整洁的方式将这个列重命名为.agg方法可读的东西？也许更类似于在dplyr中做什么：

df %>% group_by(group) %>% summarise(sum_money = sum(money))

虽然我仍然喜欢dplyr语法，但这段代码片段可以做到：

import pyspark.sql.functions as func

df.groupBy("group")
  .agg(func.sum('money').alias('money'))
  .show(100)

它变得冗长

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!