scala – Spark Dataframes-按键减少

case class Record(ts: Long,id: Int,value: Int)

鉴于大量这些记录,我希望最终得到每个id具有最高时间戳的记录.使用RDD api我认为以下代码完成了工作：

def findLatest(records: RDD[Record])(implicit spark: SparkSession) = {
  records.keyBy(_.id).reduceByKey{
    (x,y) => if(x.ts > y.ts) x else y
  }.values
}

同样,这是我对数据集的尝试：

def findLatest(records: Dataset[Record])(implicit spark: SparkSession) = {
  records.groupByKey(_.id).mapGroups{
    case(id,records) => {
      records.reduceLeft((x,y) => if (x.ts > y.ts) x else y)
    }
  }
}

我正在尝试研究如何使用数据框来实现类似的东西,但无济于事 – 我意识到我可以使用以下方法进行分组：

records.groupBy($"id")

但是这给了我一个RelationGroupedDataSet,我不清楚我需要编写什么聚合函数来实现我想要的 – 我看到的所有示例聚合似乎都集中在返回只聚合的一列而不是整行.

是否可以使用数据框来实现这一目标？