linux – 数百万个小文件的块大小
发布时间：2020-12-13 17:59:13 所属栏目：Linux 来源：网络整理
导读：我在Debian Wheezy的硬件RAID1(可能是LSI MegaRaid)上有2x 4TB磁盘.物理块大小为4kB.我要存储1.5到2亿个小文件(3到10kB之间).我不是要求性能,而是要求最佳的文件系统和块大小以节省存储空间. 我已经将一个8200字节的文件复制到一个块大小为4kB的ext4上.这需
|
我在Debian Wheezy的硬件RAID1(可能是LSI MegaRaid)上有2x 4TB磁盘.物理块大小为4kB.我要存储1.5到2亿个小文件(3到10kB之间).我不是要求性能,而是要求最佳的文件系统和块大小以节省存储空间.
我已经将一个8200字节的文件复制到一个块大小为4kB的ext4上.这需要32kB的磁盘！？记录原因是什么？那么有哪些选项可以为这些小文件节省大部分存储空间？ 解决方法
如果我遇到这种情况,我会查看一个数据库,该数据库可以将所有数据存储在一个文件中,并使用基于偏移量的紧凑索引,而不是单独的文件.也许一个有FUSE驱动程序的数据库可以在必要时与它作为文件进行交互,而实际上它们并不是所有BEING单独的文件.
或者,您可以查看文件大小的第60-70百分位,并尝试将该文件大小直接放入文件系统树节点,而不是作为磁盘上的单独块.在每个节点中存储10k可能是一个很大的问题,但如果你可以获得60％-70％的文件,这可能是一个巨大的胜利. 只有某些文件系统可以做到这一点(reiserfs是一个),我猜这一切都取决于百分位数的大小,它是否适合树.你可以调整它.我想尝试将其余部分放入一个区块. 不要担心期刊;无论如何,它们都有一个大小上限. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |