加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Java > 正文

spark中各种连接操作以及实用方法

发布时间:2020-12-14 23:17:43 所属栏目:Java 来源:网络整理
导读:今天PHP站长网 52php.cn把收集自互联网的代码分享给大家,仅供参考。 val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0)) val b = sc.parallelize(Array(("123",8.0),10))) val c = a.join(b) c.foreach

以下代码由PHP站长网 52php.cn收集自互联网

现在PHP站长网小编把它分享给大家,仅供参考

     val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0))  
         val b = sc.parallelize(Array(("123",8.0),10)))  
      
        val c = a.join(b)  
        c.foreach(println)  
        /*  
        (123,(4.0,8.0))  
        (789,(9.0,10))  
         */  
        val d = a.cogroup(b)  
        d.foreach(println)  
        /*  
        (456,(CompactBuffer(9.0),CompactBuffer()))  
        (123,(CompactBuffer(4.0),CompactBuffer(8.0)))  
        (789,CompactBuffer(10)))  
        */  
        val e = a.leftOuterJoin(b)  
        e.foreach(println)  
        /*  
          (456,None))  
          (123,Some(8.0)))  
          (789,Some(10)))  
          */  
        val f = a.fullOuterJoin(b)  
        f.foreach(println)  
        /*  
          (456,(Some(9.0),(Some(4.0),Some(10)))  
          */  
        val g = a.cartesian(b)  
        g.foreach(println)  
        /*  
    ((123,(123,8.0))  
    ((123,(789,10))  
    ((456,8.0))  
    ((456,10))  
    ((789,8.0))  
    ((789,10))  
          */  
        /*val h = a.coalesce(6,true)  
        h.foreach(println)  
        a.dependencies.foreach(println)*/  
        val i = a.keyBy{case (k,v)=>("haha",234)}  
        i.foreach(println)  
        /*  
          ((haha,234),4.0))  
          ((haha,(456,9.0))  
          ((haha,9.0))  
         */  

以上内容由PHP站长网【52php.cn】收集整理供大家参考研究

如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读