scala – 在Apache Spark中读取HDF5文件

发布时间：2020-12-16 09:00:54 所属栏目：安全来源：网络整理

导读：有没有办法使用 Scala版本的Spark读取HDF5文件？看起来它可以在 Python中完成(通过Pyspark),但我找不到Scala的任何东西. 解决方法 HDF5没有Hadoop InputFormatimplementation,因为它不能被任意分割： “Breaking the container into blocks is a bit like ta

有没有办法使用 Scala版本的Spark读取HDF5文件？看起来它可以在 Python中完成(通过Pyspark),但我找不到Scala的任何东西.

解决方法

HDF5没有Hadoop InputFormatimplementation,因为它不能被任意分割： “Breaking the container into blocks is a bit like taking an axe and chopping it to pieces,severing blindly the content and the smart wiring in the process. The result is a mess,because there’s no alignment or correlation between HDFS block boundaries and the internal HDF5 cargo layout or container support structure.”同一站点讨论了将HDF5文件转换为Avro文件的可能性,从而使它们能够被Hadoop / Spark读取,但 PySpark示例你提到可能是一种更简单的方法,但正如链接文档所提到的,在Hadoop / Spark中有效处理HDF5文档需要解决许多技术挑战.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!