Linux文件系统或CDN,用于复制数百万个文件

发布时间：2020-12-14 02:40:34 所属栏目：Linux 来源：网络整理

导读：请告诉我这个场景的解决方案：数百万个文件,位于一个目录中(“img / 8898f6152a0ecd7997a68631768fb72e9ac2efe1_1.jpg”) 平均文件大小约为80k 90％随机读取访问权限备份(复制)到其他服务器(每5分钟或立即) 图像元数据保存到数据库中当文件数量超过2百万

请告诉我这个场景的解决方案：

>数百万个文件,位于一个目录中(“img / 8898f6152a0ecd7997a68631768fb72e9ac2efe1_1.jpg”)
平均文件大小约为80k
> 90％随机读取访问权限
>备份(复制)到其他服务器(每5分钟或立即)
>图像元数据保存到数据库中

当文件数量超过2百万时,我们遇到了随机访问时间慢的问题.
文件系统是带有noatime和dir_index选项的ext3,但不需要使用’ls’或’find’之类的命令.

我认为可行的解决方案：

>继续使用ext3,只需将目录树结构转换为“img / 889 / 8f6 / 152 / a0ecd7997a68631768fb72e9ac2efe1_1.jpg”
>迁移到其他文件系统(ReiserFS,XFS,EXT4等)
>使用分布式文件系统设置存储引擎(举例)
>或者其他……

如果我们选择1或2,我们如何复制？ rsync无法处理ext3文件系统上的这么多数据.

对我们来说最好的解决方案是使用Amazon S3,但这对我们的流量来说太贵了…也许你推荐一些类比(便宜的CDN或开源项目)

解决方法

一个目录中的数百万个文件设计糟糕,速度很慢.将它们细分为具有较少条目数的目录.

看看https://unix.stackexchange.com/questions/3733/number-of-files-per-directory

使用RAID和/或SSD.这本身并不能解决访问速度慢的问题,但是如果你引入多个目录并减少每个目录的文件数量,比如一个数量级或两个数量级,它将有助于防止热点.

考虑XFS,特别是在使用多个驱动器和多个目录时,它可能会带来不错的收益(例如,请参阅this线程以获取使用的选项.它为md RAID上的XFS提供了一些提示).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!