scala – 使用–archives选项上传zip文件上传zip文件

发布时间：2020-12-16 09:08:58 所属栏目：安全来源：网络整理

导读：我有一个包含一些模型文件的目录,由于某些原因,我的应用程序必须访问本地文件系统中的这些模型文件. 当然我知道 – spark-submit的文件选项可以将文件上传到每个执行器的工作目录,它确实有效. 但是,我想保留我的文件的目录结构,所以我想出了–archives选项,

我有一个包含一些模型文件的目录,由于某些原因,我的应用程序必须访问本地文件系统中的这些模型文件.

当然我知道 – spark-submit的文件选项可以将文件上传到每个执行器的工作目录,它确实有效.

但是,我想保留我的文件的目录结构,所以我想出了–archives选项,据说

YARN-only:
......
--archives ARCHIVES         Comma separated list of archives to be extracted into the working directory of each executor.
......

但是当我实际使用它来上传models.zip时,我发现纱线只是把它放在那里没有提取,就像它用–files做的那样.我误解了被提取或误用了这个选项吗？

解决方法

我自己找到了答案.

YARN确实提取了存档,但添加了一个与存档名称相同的额外文件夹.为了说清楚,如果我将models / model1和models / models2放在models.zip中,那么我必须通过models.zip/models/model1和models.zip/models/model2访问我的模型.

而且,我们可以使用#语法使它更漂亮.

–files和–archives选项支持使用与Hadoop类似的#指定文件名.例如,您可以指定：–files localtest.txt#appSees.txt,这会将您在本地命名为localtest.txt的文件上传到HDFS,但这将通过名称appSees.txt链接,您的应用程序应使用命名为appSees.txt,以便在YARN上运行时引用它.

编辑：

这个答案在spark 2.0.0上测试过,我不确定其他版本的行为.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!