SparkSQL并在Java中的DataFrame上爆炸

发布时间：2020-12-14 05:09:29 所属栏目：Java 来源：网络整理

导读：有没有一种简单的方法如何在SparkSQL DataFrame上使用数组列爆炸？它在 Scala中相对简单,但是这个函数似乎在 Java中不可用(如javadoc中所述). 一个选项是使用SQLContext.sql(…)并在查询中爆炸功能,但我正在寻找更好,更清洁的方式. DataFrames是从镶木地板文

有没有一种简单的方法如何在SparkSQL DataFrame上使用数组列爆炸？它在 Scala中相对简单,但是这个函数似乎在 Java中不可用(如javadoc中所述).

一个选项是使用SQLContext.sql(…)并在查询中爆炸功能,但我正在寻找更好,更清洁的方式. DataFrames是从镶木地板文件加载的.

解决方法

我以这种方式解决了这个问题：假设你有一个包含名为“positions”的职位描述的数组列,对于每个拥有“fullName”的人.

然后你从初始架构得到：

root
|-- fullName: string (nullable = true)
|-- positions: array (nullable = true)
    |    |-- element: struct (containsNull = true)
    |    |    |-- companyName: string (nullable = true)
    |    |    |-- title: string (nullable = true)
...

到架构：

root
 |-- personName: string (nullable = true)
 |-- companyName: string (nullable = true)
 |-- positionTitle: string (nullable = true)

通过做：

DataFrame personPositions = persons.select(persons.col("fullName").as("personName"),org.apache.spark.sql.functions.explode(persons.col("positions")).as("pos"));

    DataFrame test = personPositions.select(personPositions.col("personName"),personPositions.col("pos").getField("companyName").as("companyName"),personPositions.col("pos").getField("title").as("positionTitle"));

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!