scala – 如何从DataFrame获取最后一行？

发布时间：2020-12-16 10:07:08 所属栏目：安全来源：网络整理

导读：我有一个DataFrame,DataFrame hava两列’value’和’timestamp’,’timestmp’是有序的,我想得到DataFrame的最后一行,我该怎么办？这是我的意见： +-----+---------+|value|timestamp|+-----+---------+| 1| 1|| 4| 2|| 3| 3|| 2| 4|| 5| 5|| 7| 6|| 3| 7||

我有一个DataFrame,DataFrame hava两列’value’和’timestamp’,’timestmp’是有序的,我想得到DataFrame的最后一行,我该怎么办？

这是我的意见：

+-----+---------+
|value|timestamp|
+-----+---------+
|    1|        1|
|    4|        2|
|    3|        3|
|    2|        4|
|    5|        5|
|    7|        6|
|    3|        7|
|    5|        8|
|    4|        9|
|   18|       10|
+-----+---------+

这是我的代码：

val arr = Array((1,1),(4,2),(3,3),(2,4),(5,5),(7,6),7),8),9),(18,10))
    var df=m_sparkCtx.parallelize(arr).toDF("value","timestamp")

这是我的预期结果：

+-----+---------+
|value|timestamp|
+-----+---------+
|   18|       10|
+-----+---------+

解决方法

我只是减少：

df.reduce { (x,y) => 
  if (x.getAs[Int]("timestamp") > y.getAs[Int]("timestamp")) x else y 
}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!