linux – 现代文件系统中数百万个文件的性能影响是什么？
|
假设我们正在使用ext4(启用了dir_index)来托管3M文件(平均大小为750KB),我们需要确定我们将要使用的文件夹方案.
在第一个解决方案中,我们对文件应用哈希函数并使用两个级别文件夹(第一级为1个字符,第二级为2个字符)：因此,如果filex.for哈希等于abcde1234,我们将存储它在/path/a/bc/abcde1234-filex.for上. 在第二个解决方案中,我们将哈希函数应用于文件并使用两个级别文件夹(第一级为2个字符,filex.for哈希等于abcde1234,我们将存储它在/path/ab/de/abcde1234-filex.for上. 对于第一个解决方案,我们将有以下方案/路径/ [16个文件夹] / [256个文件夹],每个文件夹平均有732个文件(最后一个文件夹,文件所在的文件夹). 在第二个解决方案中,我们将有/ path / [256个文件夹] / [256个文件夹],每个文件夹平均有45个文件. 考虑到我们要从这个方案中编写/取消链接/读取文件(但主要是读取)(基本上是nginx缓存系统),在性能意义上,如果我们选择一个或其他解决方案,它是否会成功？ 另外,我们可以使用哪些工具来检查/测试此设置？ 解决方法
创建这种目录结构的原因是文件系统必须在目录中定位文件,目录越大,操作越慢.
慢多少取决于文件系统设计. ext4文件系统使用a B-tree来存储目录条目.对此表的查找预计需要O(log n)时间,大部分时间都小于ext3和以前的文件系统使用的天真线性表(当它不是时,目录太小而无法使用真的很重要). XFS文件系统使用B+tree代替.这相对于散列表或B树的优点是任何节点可能有多个子节点b,其中XFS b变化并且可以高达254(或根节点为19;并且这些数字可能已过期).这为您提供了O(logb n)的时间复杂度,这是一项巨大的改进. 这些文件系统中的任何一个都可以处理单个目录中的数万个文件,其中XFS比具有相同inode数量的目录上的ext4快得多.但是你可能不希望有一个带有3M inode的单个目录,因为即使使用B树,查找也需要一些时间.这就是导致以这种方式创建目录的原因. 至于您提出的结构,您提供的第一个选项正是nginx示例中显示的内容.它在任一文件系统上都表现良好,但XFS仍然有一些优势.第二种选择可能表现略好或略差,但即使在基准测试中它也可能非常接近. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |