shell – 如何仅列出HDFS中的文件名

发布时间：2020-12-15 19:05:07 所属栏目：安全来源：网络整理

导读：我想知道是否有任何命令/表达式只能获取hadoop中的文件名。我只需要获取文件的名称，当我执行hadoop fs -ls时它会打印整个路径。我试过下面，但只是想知道是否有更好的方法来做到这一点。 hadoop fs -ls HDFS_DIR|cut -d ' ' -f17 它似乎是 hadoop ls does

我想知道是否有任何命令/表达式只能获取hadoop中的文件名。我只需要获取文件的名称，当我执行hadoop fs -ls时它会打印整个路径。

我试过下面，但只是想知道是否有更好的方法来做到这一点。

hadoop fs -ls <HDFS_DIR>|cut -d ' ' -f17

它似乎是 hadoop ls does not support any options to output just the filenames，甚至只是最后一列。

如果您想要可靠地获取最后一列，您应该首先将空格转换为单个空格，以便您可以解决最后一列：

hadoop fs -ls | sed '1d;s/  */ /g' | cut -d  -f8

这将为您提供最后一列，但文件包含整个路径。如果你只想要文件名，你可以使用basename作为@rojomoke建议：

hadoop fs -ls | sed '1d;s/  */ /g' | cut -d  -f8 | xargs -n 1 basename

我还过滤掉了第一行“找到了吗？x项目”

注意：请注意，正如@ felix-frank在注释中指出的那样，上述命令将无法正确保存具有多个连续空格的文件名。因此，Felix提出了一个更正确的解决方案：

hadoop fs -ls / tmp | sed 1d | perl -wlne’print(split“”，$ _，8)[7]’

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!