linux – 数百万个小文件的文件系统

发布时间：2020-12-13 18:42:07 所属栏目：Linux 来源：网络整理

导读：在以下场景中,您会选择哪种 Linux文件系统以获得最佳速度：一亿个文件平均文件大小约为~2k 95% read access 非常随机的访问高并发( 100个进程) 注意：文件存储在深层次结构树中以避免大目录.每个叶子目录包含大约一千个文件. 你会如何评价它？解决方法

在以下场景中,您会选择哪种 Linux文件系统以获得最佳速度：

>一亿个文件
平均文件大小约为~2k
>

95% read access

>非常随机的访问
>高并发(> 100个进程)

注意：文件存储在深层次结构树中以避免大目录.每个叶子目录包含大约一千个文件.

你会如何评价它？

解决方法

这里有一些 results comparing all major linux FSes的bonnie可以作为起点.

在随机搜索方面,Reiser赢了,接着是EXT4,接着是JFS.我不确定这是否与目录查找完全相关,但它似乎是一个指标.你必须专门做自己的测试. EXT2因为文件创建时间不足以击败所有内容,可能是因为缺少日记,EXT4除了Reiser之外还有其他一切,因为hans reiser的当前状态你可能不想使用它.

您可能希望查看支持NCQ的驱动器,并确保您的安装已设置为使用它.在大量寻求下它应该提供速度提升.

最后,确保您的机器有一吨内存.由于文件不经常更新,如果它有可用空间,linux将最终缓存大部分文件.如果您的使用模式是正确的,这将为您带来巨大的速度提升.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!