scala – 如何将RDD数据保存到json文件中,而不是文件夹中

发布时间：2020-12-16 09:02:07 所属栏目：安全来源：网络整理

导读：我正在接收我要在S3中保存的流数据myDStream(DStream [String])(基本上,对于这个问题,我想要保存输出的位置并不重要,但我提到它以防万一). 以下代码运行良好,但它使用jsonFile-19-45-46.json等名称保存文件夹,然后在文件夹中保存文件_SUCCESS和part-00000.

我正在接收我要在S3中保存的流数据myDStream(DStream [String])(基本上,对于这个问题,我想要保存输出的位置并不重要,但我提到它以防万一).

以下代码运行良好,但它使用jsonFile-19-45-46.json等名称保存文件夹,然后在文件夹中保存文件_SUCCESS和part-00000.

是否可以将每个RDD [String](这些是JSON字符串)数据保存到JSON文件中,而不是文件夹中？我认为重新分区(1)必须制作这个技巧,但事实并非如此.

myDStream.foreachRDD { rdd => 
       // datetimeString = ....
       rdd.repartition(1).saveAsTextFile("s3n://mybucket/keys/jsonFile-"+datetimeString+".json")
    }

解决方法

AFAIK没有选项将其保存为文件.因为它是一个分布式处理框架,并且在单个文件上写入并不是一个好的做法,而不是每个分区在指定的路径中写入自己的文件.

We can pass only output directory where we wanted to save the data. OutputWriter will create file(s)(depends on partitions) inside specified path with part- file name prefix.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!