spark中各种连接操作以及实用方法
发布时间:2020-12-14 23:17:43 所属栏目:Java 来源:网络整理
导读:今天PHP站长网 52php.cn把收集自互联网的代码分享给大家,仅供参考。 val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0)) val b = sc.parallelize(Array(("123",8.0),10))) val c = a.join(b) c.foreach
以下代码由PHP站长网 52php.cn收集自互联网 现在PHP站长网小编把它分享给大家,仅供参考 val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0)) val b = sc.parallelize(Array(("123",8.0),10))) val c = a.join(b) c.foreach(println) /* (123,(4.0,8.0)) (789,(9.0,10)) */ val d = a.cogroup(b) d.foreach(println) /* (456,(CompactBuffer(9.0),CompactBuffer())) (123,(CompactBuffer(4.0),CompactBuffer(8.0))) (789,CompactBuffer(10))) */ val e = a.leftOuterJoin(b) e.foreach(println) /* (456,None)) (123,Some(8.0))) (789,Some(10))) */ val f = a.fullOuterJoin(b) f.foreach(println) /* (456,(Some(9.0),(Some(4.0),Some(10))) */ val g = a.cartesian(b) g.foreach(println) /* ((123,(123,8.0)) ((123,(789,10)) ((456,8.0)) ((456,10)) ((789,8.0)) ((789,10)) */ /*val h = a.coalesce(6,true) h.foreach(println) a.dependencies.foreach(println)*/ val i = a.keyBy{case (k,v)=>("haha",234)} i.foreach(println) /* ((haha,234),4.0)) ((haha,(456,9.0)) ((haha,9.0)) */ 以上内容由PHP站长网【52php.cn】收集整理供大家参考研究 如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |