ruby – 在Amazon S3中列出给定级别的目录
发布时间：2020-12-17 02:57:50 所属栏目：百科 来源：网络整理
导读：我在亚马逊S3桶中存储了200万个文件.下面有一个给定的根(l1),l1下的目录列表,然后每个目录包含文件.所以我的桶看起来像下面这样 l1/a1/file1-1.jpgl1/a1/file1-2.jpgl1/a1/... another 500 filesl1/a2/file2-1.jpgl1/a2/file2-2.jpgl1/a2/... another 500 fi
|
我在亚马逊S3桶中存储了200万个文件.下面有一个给定的根(l1),l1下的目录列表,然后每个目录包含文件.所以我的桶看起来像下面这样
l1/a1/file1-1.jpg l1/a1/file1-2.jpg l1/a1/... another 500 files l1/a2/file2-1.jpg l1/a2/file2-2.jpg l1/a2/... another 500 files .... l1/a5000/file5000-1.jpg 我想尽快列出二级条目,所以我想得到a1,a2,a5000.我不想列出所有的密钥,这将花费更长的时间. 我愿意直接使用AWS api,但是到目前为止我已经使用ruby http://rdoc.info/projects/rightscale/right_aws中的right_aws gem玩了 该gem中至少有两个API,我尝试在S3模块中使用bucket.keys(),在S3Interface模块中使用incrementally_list_bucket().例如,我可以设置前缀和分隔符列出所有l1 / a1 / *,但我无法弄清楚如何仅列出l1中的第一级.在incrementally_list_bucket()返回的哈希中有一个：common_prefixes条目,但在我的测试样本中没有填写. S3 API可以实现此操作吗？ 谢谢！ 解决方法
right_aws允许这样做作为其底层S3Interface类的一部分,但您可以创建自己的方法,以便更容易(和更好)的使用.把它放在代码的顶部：
module RightAws
class S3
class Bucket
def common_prefixes(prefix,delimiter = '/')
common_prefixes = []
@s3.interface.incrementally_list_bucket(@name,{ 'prefix' => prefix,'delimiter' => delimiter }) do |thislist|
common_prefixes += thislist[:common_prefixes]
end
common_prefixes
end
end
end
end
这将common_prefixes方法添加到RightAws :: S3 :: Bucket类.现在,您可以使用mybucket.common_prefixes来获取一系列公共前缀,而不是调用mybucket.keys来获取存储桶中的密钥列表.在你的情况下： mybucket.common_prefixes("l1/")
# => ["l1/a1","l1/a2",... "l1/a5000"]
我必须说我只用少量公共前缀测试它;你应该检查这是否适用于超过1000个公共前缀. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |