scala – 写入Apache Spark中的文件

发布时间：2020-12-16 18:45:21 所属栏目：安全来源：网络整理

导读：我正在写一个 Scala代码,要求我写入HDFS中的文件. 当我在本地使用Filewriter.write时,它可以工作.同样的事情不适用于HDFS. 检查后,我发现Apache Spark中有以下选项可供编写 – RDD.saveAsTextFile和DataFrame.write.format. 我的问题是：如果我只想在Apache

我正在写一个 Scala代码,要求我写入HDFS中的文件.
当我在本地使用Filewriter.write时,它可以工作.同样的事情不适用于HDFS.
检查后,我发现Apache Spark中有以下选项可供编写 –
RDD.saveAsTextFile和DataFrame.write.format.

我的问题是：如果我只想在Apache Spark中为文件写一个int或字符串怎么办？

跟进：
我需要写一个输出文件头,DataFrame内容然后附加一些字符串.
sc.parallelize(Seq(< String>))有帮助吗？

解决方法

使用Seq使用您的数据(int / string)创建RDD：有关详细信息,请参阅 parallelized-collections：

sc.parallelize(Seq(5))  //for writing int (5)
sc.parallelize(Seq("Test String")) // for writing string

val conf = new SparkConf().setAppName("Writing Int to File").setMaster("local")
val sc = new SparkContext(conf) 
val intRdd= sc.parallelize(Seq(5))   
intRdd.saveAsTextFile("outinttest")

val conf = new SparkConf().setAppName("Writing string to File").setMaster("local")
val sc = new SparkContext(conf)   
val stringRdd = sc.parallelize(Seq("Test String"))
stringRdd.saveAsTextFile("outstringtest")

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!