nginx – 如何组织数百万个静态文件以便通过网络有效服务？

发布时间：2020-12-13 21:15:25 所属栏目：Nginx 来源：网络整理

导读：我想创建一个服务来提供数十万个较小的文件(从5kb到500kb,大多数在10-100kb左右).可以把它想象成一种gravatar.com,它为像https://secure.gravatar.com/avatar/1545f91437e2576b910dbd1023a44756这样的URL上的那些小化身图片提供服务我想使用没有任何ID或哈

我想创建一个服务来提供数十万个较小的文件(从5kb到500kb,大多数在10-100kb左右).可以把它想象成一种gravatar.com,它为像https://secure.gravatar.com/avatar/1545f91437e2576b910dbd1023a44756这样的URL上的那些小化身图片提供服务

我想使用没有任何ID或哈希值的描述性URL,例如http://www.server.com/This-is-my-file.ext,没有重复的文件名.

在没有太多开销的情况下,最有效的服务和组织文件的方法是什么？

只需将所有内容放在一个目录中并让nginx提供文件就会在一定数量的文件后减速,具体取决于文件系统.

一个想法是根据文件名的第一个字符将文件保存在一个简单的目录结构中,因此该示例将在t / h / This-is-my-file.ext中提供,并在nginx配置中使用简单的重写规则.这将导致分配到不同目录中的非常不均匀.使用from from值可以说文件名的md5哈希会导致良好的分布,但需要更多的计算能力……

我想这听起来像一个关键值存储的完美用例,但是只有文件系统和nginx才能保持简单吗？

哈希文件名.

The set_md5 instruction doc

# You can do this:
# I didn't test this. 
location /hashed/([0-9a-f]{2})([0-9a-f]*)/(.*) {
  try_files /$1/$2/$3;
}
set_md5 $digest $request_uri;
location / {
  rewrite .* /hashed/$digest/$request_uri;
}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!