scala – 使用Sequence File SequenceFile在Spark中写入和读取原

发布时间：2020-12-16 19:20:35 所属栏目：安全来源：网络整理

导读：如何使用Apache Spark将RDD [Array [Byte]]写入文件并再次读回？解决方法常见的问题似乎是变得奇怪,不能将BytesWritable中的异常强制转换为NullWritable.其他常见问题是BytesWritable getBytes是一堆毫无意义的废话,根本不会得到字节. getBytes所做的是获

如何使用Apache Spark将RDD [Array [Byte]]写入文件并再次读回？

解决方法

常见的问题似乎是变得奇怪,不能将BytesWritable中的异常强制转换为NullWritable.其他常见问题是BytesWritable getBytes是一堆毫无意义的废话,根本不会得到字节. getBytes所做的是获取你的字节,而不是在最后添加大量的零！你必须使用copyBytes

val rdd: RDD[Array[Byte]] = ???

// To write
rdd.map(bytesArray => (NullWritable.get(),new BytesWritable(bytesArray)))
  .saveAsSequenceFile("/output/path",codecOpt)

// To read
val rdd: RDD[Array[Byte]] = sc.sequenceFile[NullWritable,BytesWritable]("/input/path")
  .map(_._2.copyBytes())

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!