scala – 如何将RDD保存到HDFS中,然后再将其读回?
发布时间:2020-12-16 08:58:11 所属栏目:安全 来源:网络整理
导读:我有一个RDD,其元素类型为(Long,String).出于某种原因,我想将整个RDD保存到HDFS中,之后还在Spark程序中读取该RDD.有可能吗?如果是这样,怎么样? 解决方法 有可能的. 在RDD中,您有saveAsObjectFile和saveAsTextFile函数.元组存储为(value1,value2),因此您可
我有一个RDD,其元素类型为(Long,String).出于某种原因,我想将整个RDD保存到HDFS中,之后还在Spark程序中读取该RDD.有可能吗?如果是这样,怎么样?
解决方法
有可能的.
在RDD中,您有saveAsObjectFile和saveAsTextFile函数.元组存储为(value1,value2),因此您可以稍后解析它. 可以使用SparkContext中的textFile函数进行读取,然后使用.map进行消除() 所以: rdd.saveAsTextFile ("hdfs:///test1/"); // later,in other program val newRdds = sparkContext.textFile("hdfs:///test1/part-*").map (x => { // here remove () and parse long / strings }) 版本2: rdd.saveAsObjectFile ("hdfs:///test1/"); // later,in other program - watch,you have tuples out of the box :) val newRdds = sparkContext.sc.sequenceFile("hdfs:///test1/part-*",classOf[Long],classOf[String]) (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |