scala – 在Spark中将镶木地板文件加载到case类中的性能

在我们的Parquet文件中,我们有类似的嵌套case类：

case class C(/* a dozen of attributes*/)
case class B(/* a dozen of attributes*/,cs: Seq[C])
case class A(/* a dozen of attributes*/,bs: Seq[B])

从Parquet文件加载它们需要一段时间.
所以我已经完成了从Parquet文件加载案例类的不同方法的基准,并使用Spark 1.6和2.0对一个字段求??和.

以下是我做的基准测试的总结：

val df: DataFrame = sqlContext.read.parquet("path/to/file.gz.parquet").persist()
df.count()

// Spark 1.6

// Play Json
// 63.169s
df.toJSON.flatMap(s => Try(Json.parse(s).as[A]).toOption)
         .map(_.fieldToSum).sum()

// Direct access to field using Spark Row
// 2.811s
df.map(row => row.getAs[Long]("fieldToSum")).sum()

// Some small library we developed that access fields using Spark Row
// 10.401s
df.toRDD[A].map(_.fieldToSum).sum()

// Dataframe hybrid SQL API
// 0.239s
df.agg(sum("fieldToSum")).collect().head.getAs[Long](0)

// Dataset with RDD-style code
// 34.223s
df.as[A].map(_.fieldToSum).reduce(_ + _)

// Dataset with column selection
// 0.176s
df.as[A].select($"fieldToSum".as[Long]).reduce(_ + _)


// Spark 2.0

// Performance is similar except for:

// Direct access to field using Spark Row
// 23.168s
df.map(row => row.getAs[Long]("fieldToSum")).reduce(_ + _)

// Some small library we developed that access fields using Spark Row
// 32.898s
f1DF.toRDD[A].map(_.fieldToSum).sum()

我理解为什么升级到Spark 2.0时使用Spark Row的方法的性能会降低,因为Dataframe现在只是Dataset [Row]的别名.
我想这就是统一接口的成本.

另一方面,我对数据集的承诺没有得到保留感到非常失望：使用RDD样式编码(map和flatMaps)时的性能比使用类似SQL的DSL的数据集这样的数据集更糟.

基本上,为了获得良好的性能,我们需要放弃类型安全.

>用作RDD的数据集和用作数据帧的数据集之间存在这种差异的原因是什么？
>有没有办法提高数据集中的编码性能,以等同RDD风格的编码和SQL风格的编码性能？对于数据工程,使用RDD样式编码要清晰得多.
>此外,使用类似SQL的DSL需要展平我们的数据模型,而不是使用嵌套的case类.我是对的,只有平面数据模型才能实现良好的性能？