scala – 像普通Seq一样对待Spark RDD
发布时间：2020-12-16 18:34:20 所属栏目：安全 来源：网络整理
导读：我有一个用于转换 JSON的CLI应用程序.它的大多数代码都是映射,flatMapping和遍历JValues列表.现在我想将此应用程序移植到Spark,但似乎我需要重写所有函数1：1,但是编写RDD [JValue]而不是List [JValue]. 函数是否有任何方式(如类型类)接受列表和RDD. 解决方
|
我有一个用于转换
JSON的CLI应用程序.它的大多数代码都是映射,flatMapping和遍历JValues列表.现在我想将此应用程序移植到Spark,但似乎我需要重写所有函数1：1,但是编写RDD [JValue]而不是List [JValue].
函数是否有任何方式(如类型类)接受列表和RDD. 解决方法
如果您想共享您的代码以便处理本地和抽象代码,您可以将传递给map / flatMap的lambdas / anaonymous函数移动到命名函数中并重用它们.
如果您想重新使用逻辑来定义maps / flatMaps / etc,您还可以在RDD和Seq之间创建一个隐式转换到自定义特征,该特征只有共享函数,但隐式转换可能会变得非常混乱,我不认为这是一个好主意(但如果你不同意我,你可以这样做:)). （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |