scala – 使用来自s3或本地文件系统的spark从子目录递归读取文件

发布时间：2020-12-16 09:24:42 所属栏目：安全来源：网络整理

导读：我试图从包含许多子目录的目录中读取文件.数据在S3中,我正在尝试这样做： val rdd =sc.newAPIHadoopFile(data_loc,classOf[org.apache.hadoop.mapreduce.lib.input.TextInputFormat],classOf[org.apache.hadoop.io.NullWritable]) 这似乎不起作用. 感谢帮助

我试图从包含许多子目录的目录中读取文件.数据在S3中,我正在尝试这样做：

val rdd =sc.newAPIHadoopFile(data_loc,classOf[org.apache.hadoop.mapreduce.lib.input.TextInputFormat],classOf[org.apache.hadoop.io.NullWritable])

这似乎不起作用.

感谢帮助

解决方法

是的它有效,花了一些时间来获得单独的块/拆分,基本上是每个子目录中的特定目录： S3N：//桶/ ROOT_DIR / * /数据/ * / * / *

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!