scala – 如何将数据集[(String,Seq [String])]转换为数据集[(St

发布时间：2020-12-16 10:06:12 所属栏目：安全来源：网络整理

导读：可能这是一个简单的问题,但我开始用火花冒险. 问题：我想在spark中获得以下结构(预期结果).现在我有以下结构. title1,{word11,word12,word13 …} title2,{word12,word22,word23 …} 数据存储在数据集[(String,Seq [String])]中例外结果我想得到元组[单词,

可能这是一个简单的问题,但我开始用火花冒险.

问题：我想在spark中获得以下结构(预期结果).现在我有以下结构.

title1,{word11,word12,word13 …}
title2,{word12,word22,word23 …}

数据存储在数据集[(String,Seq [String])]中

例外结果
我想得到元组[单词,标题]

word11,{title1}
word12,{title1}

我所做的
1.制作(标题,序号[word1,word2,word,3])

docs.mapPartitions { iter =>
  iter.map {
     case (title,contents) => {
        val textToLemmas: Seq[String] = toText(....)
        (title,textToLemmas)
     }
  }
}

>我尝试使用.map将我的结构转换为Tuple,但不能这样做.
>我试图迭代所有元素,但后来我不能返回类型

谢谢你的回答.

解决方法

这应该工作：

val result = dataSet.flatMap { case (title,words) => words.map((_,title)) }

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!