如何在Java中的Apache Spark中将DataFrame转换为Dataset？

发布时间：2020-12-14 05:43:26 所属栏目：Java 来源：网络整理

导读：我可以很容易地将DataFrame转换为 Scala数据集： case class Person(name:String,age:Long)val df = ctx.read.json("/tmp/persons.json")val ds = df.as[Person]ds.printSchema 但是在Java版本中,我不知道如何将Dataframe转换为Dataset？任何想法？我的努力

我可以很容易地将DataFrame转换为 Scala数据集：

case class Person(name:String,age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema

但是在Java版本中,我不知道如何将Dataframe转换为Dataset？任何想法？

我的努力是：

DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();

但是编译器说：

Error:(23,27) java: org.apache.spark.sql.Encoder is abstract; cannot be instantiated

编辑(解决方案)：

基于@ Leet-Falcon的解决方案：

DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx,encoder);

解决方法

官方Spark文档建议在 Dataset API以下：

Java Encoders are specified by calling static methods on 07001.

List<String> data = Arrays.asList("abc","abc","xyz");
Dataset<String> ds = context.createDataset(data,Encoders.STRING());

编码器可以组成元组：

Encoder<Tuple2<Integer,String>> encoder2 = Encoders.tuple(Encoders.INT(),Encoders.STRING());
List<Tuple2<Integer,String>> data2 = Arrays.asList(new scala.Tuple2(1,"a");
Dataset<Tuple2<Integer,String>> ds2 = context.createDataset(data2,encoder2);

或从Java Bean构建到Encoders#bean：

Encoders.bean(MyClass.class);

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!