scala – 如何创建地图数据集？

发布时间：2020-12-16 18:39:59 所属栏目：安全来源：网络整理

导读：我正在使用Spark 2.2,并且在尝试在Seq of Map上调用spark.createDataset时遇到了麻烦. 我的Spark Shell会话的代码和输出如下： // createDataSet on Seq[T] where T = Int worksscala spark.createDataset(Seq(1,2,3)).collectres0: Array[Int] = Array(1,3)

我正在使用Spark 2.2,并且在尝试在Seq of Map上调用spark.createDataset时遇到了麻烦.

我的Spark Shell会话的代码和输出如下：

// createDataSet on Seq[T] where T = Int works
scala> spark.createDataset(Seq(1,2,3)).collect
res0: Array[Int] = Array(1,3)

scala> spark.createDataset(Seq(Map(1 -> 2))).collect
<console>:24: error: Unable to find encoder for type stored in a Dataset.  
Primitive types (Int,String,etc) and Product types (case classes) are 
supported by importing spark.implicits._
Support for serializing other types will be added in future releases.
       spark.createDataset(Seq(Map(1 -> 2))).collect
                          ^

// createDataSet on a custom case class containing Map works
scala> case class MapHolder(m: Map[Int,Int])
defined class MapHolder

scala> spark.createDataset(Seq(MapHolder(Map(1 -> 2)))).collect
res2: Array[MapHolder] = Array(MapHolder(Map(1 -> 2)))

我试过导入spark.implicits._,虽然我很确定它是由Spark shell会话隐式导入的.

这是当前编码器未涵盖的情况吗？

解决方法

它不在2.2中,但可以轻松解决.您可以使用ExpressionEncoder添加所需的编码器,显式：

import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder  
import org.apache.spark.sql.Encoder

spark
  .createDataset(Seq(Map(1 -> 2)))(ExpressionEncoder(): Encoder[Map[Int,Int]])

或隐含地：

implicit def mapIntIntEncoder: Encoder[Map[Int,Int]] = ExpressionEncoder()
spark.createDataset(Seq(Map(1 -> 2)))

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!