scala – 如何实现Functor [数据集]

然而,以下替代解决方案可能足够好.
你可以做的是为数据集创建一个包装器,它有一个没有隐式编码器的map方法,但是还有一个toDataset方法,最后需要Encoder.

对于这个包装器,你可以使用一个非常类似于所谓的Coyoneda结构(或Coyo？今天他们称之为什么？我不知道……)的结构.它本质上是一种为任意类型构造函数实现“自由函子”的方法.

这是一个草图(它与猫1.0.1编译,由假人取代了Spark特征)：

import scala.language.higherKinds
import cats.Functor

/** Dummy for spark-Encoder */
trait Encoder[X]

/** Dummy for spark-Dataset */
trait Dataset[X] {
  def map[Y](f: X => Y)(implicit enc: Encoder[Y]): Dataset[Y]
}

/** Coyoneda-esque wrapper for `Dataset` 
  * that simply stashes all arguments to `map` away
  * until a concrete `Encoder` is supplied during the
  * application of `toDataset`.
  *
  * Essentially: the wrapped original dataset + concatenated
  * list of functions which have been passed to `map`.
  */
abstract class MappedDataset[X] private () { self =>
  type B
  val base: Dataset[B]
  val path: B => X
  def toDataset(implicit enc: Encoder[X]): Dataset[X] = base map path

  def map[Y](f: X => Y): MappedDataset[Y] = new MappedDataset[Y] {
    type B = self.B
    val base = self.base
    val path: B => Y = f compose self.path
  }
}

object MappedDataset {
  /** Constructor for MappedDatasets.
    * 
    * Wraps a `Dataset` into a `MappedDataset` 
    */
  def apply[X](ds: Dataset[X]): MappedDataset[X] = new MappedDataset[X] {
    type B = X
    val base = ds
    val path = identity
  }

}        

object MappedDatasetFunctor extends Functor[MappedDataset] {
  /** Functorial `map` */
  def map[A,B](da: MappedDataset[A])(f: A => B): MappedDataset[B] = da map f
}

现在,您可以将数据集ds包装到MappedDataset(ds)中,然后根据需要使用隐式MappedDatasetFunctor对其进行映射,然后在最后调用toDataset,您可以为最终结果提供具体的Encoder.

请注意,这会将map中的所有函数组合到一个spark阶段：它将无法保存中间结果,因为缺少所有中间步骤的编码器.

我还没有学过猫,我无法保证这是最惯用的解决方案.可能Coyoneda-esque已经在图书馆里了.

编辑：猫库中有Coyoneda,但它需要自然转换F~> G到一个仿函数G.不幸的是,我们没有数据集的Functor(这首先是问题).我上面的实现是：代替Functor [G],它需要在固定的X处的(不存在的)自然变换的单个态射(这是编码器[X]所用的).