scala – 获取连接到Apache Spark GraphX中节点的所有节点

发布时间：2020-12-16 18:56:28 所属栏目：安全来源：网络整理

导读：假设我们在Apache GraphX中获得了以下输入：顶点RDD： val vertexArray = Array( (1L,"Alice"),(2L,"Bob"),(3L,"Charlie"),(4L,"David"),(5L,"Ed"),(6L,"Fran")) Edge RDD： val edgeArray = Array( Edge(1L,2L,1),Edge(2L,3L,Edge(3L,4L,Edge(5L,6L,1)) 我

假设我们在Apache GraphX中获得了以下输入：

顶点RDD：

val vertexArray = Array(
  (1L,"Alice"),(2L,"Bob"),(3L,"Charlie"),(4L,"David"),(5L,"Ed"),(6L,"Fran")
)

Edge RDD：

val edgeArray = Array(
  Edge(1L,2L,1),Edge(2L,3L,Edge(3L,4L,Edge(5L,6L,1)
)

我需要连接到Apache Spark GraphX中的节点的所有组件

1,[1,2,3,4]
5,[5,6]

解决方法

您可以使用返回的 ConnectedComponents

a graph with the vertex value containing the lowest vertex id in the connected component containing that vertex.

并重塑结果

graph.connectedComponents.vertices.map(_.swap).groupByKey

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!