scala – 在Spark中向文本文件添加新行

发布时间：2020-12-16 18:47:13 所属栏目：安全来源：网络整理

导读：我使用命令在Spark中读取了一个文本文件 val data = sc.textFile("/path/to/my/file/part-0000[0-4]") 我想添加一个新行作为我的文件的标题.有没有办法在不将RDD转换为数组的情况下做到这一点？谢谢！解决方法 “Part”文件自动作为文件集处理. val data =

我使用命令在Spark中读取了一个文本文件

val data = sc.textFile("/path/to/my/file/part-0000[0-4]")

我想添加一个新行作为我的文件的标题.有没有办法在不将RDD转换为数组的情况下做到这一点？

谢谢！

解决方法

“Part”文件自动作为文件集处理.

val data = sc.textFile("/path/to/my/file") // Will read all parts.

只需添加标题并将其写出：

val header = sc.parallelize(Seq("...header..."))
val withHeader = header ++ data
withHeader.saveAsTextFile("/path/to/my/modified-file")

请注意,因为这必须读取和写入所有数据,所以它会比您可能直观地预期的要慢一些. (毕竟你只是添加一个新行！)出于这个原因和其他人,你可能最好不要添加这个标题,而是将数据元素(列列表)与数据分开存储.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!