加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > Linux > 正文

filesystems – 大型LVM磁盘(8 TB)的文件系统?

发布时间:2020-12-13 18:43:28 所属栏目:Linux 来源:网络整理
导读:我有一台带有许多2 TB磁盘的 Linux服务器,所有这些磁盘目前都在LVM中,导致大约10 TB的空间.我在ext4分区上使用了所有这些空间,目前有大约8,8 TB的数据. 问题是,我经常在我的磁盘上出现错误,即使我更换(也就是说,我将旧磁盘复制到带有dd的新磁盘,然后我将新的
我有一台带有许多2 TB磁盘的 Linux服务器,所有这些磁盘目前都在LVM中,导致大约10 TB的空间.我在ext4分区上使用了所有这些空间,目前有大约8,8 TB的数据.

问题是,我经常在我的磁盘上出现错误,即使我更换(也就是说,我将旧磁盘复制到带有dd的新磁盘,然后我将新的磁盘放入服务器中),一旦出现错误,我经常在其上获得大约100 MB的损坏数据.
这使得e2fsck每次都变得疯狂,并且通常需要一周时间才能使ext4文件系统再次处于理智状态.

所以问题是:你建议我在LVM上用什么作为文件系统?
或者你会建议我做什么(我真的不需要LVM)?

我的文件系统的配置文件:

>许多不同总大小的文件夹(总共2 TB,有些总计100 MB)
>近200,000个不同大小的文件(其中3/4大约10 MB,1/4介于100 MB和4 GB之间;我目前无法获得更多关于文件的统计信息,因为我的ext4分区已经完全破坏了几天)
>许多读,但很少写
>我需要容错(我停止使用mdadm RAID,因为它不喜欢整个磁盘上有一个错误,我有时会有失败的磁盘,我尽快替换,但这意味着我可以获得损坏的数据在我的文件系统上)

主要问题是磁盘故障;我可以丢失一些文件,但我不能同时失去一切.

如果我继续使用ext4,我听说我应该最好尝试制作更小的文件系统并以某种方式“合并”它们,但我不知道如何.

我听说btrfs会很好,但是当没有复制数据时(mkfs.btrfs -d single?),我找不到任何关于它如何管理丢失磁盘(或整个磁盘)的线索.

欢迎提出任何关于这个问题的建议,谢谢!

解决方法

这不是文件系统问题,而是磁盘的物理限制.这是一些数据:

SATA驱动器通常以不可恢复的读取错误率(URE)指定为10 ^ 14.这意味着即使磁盘工作正常,每12TB 1个字节也将无法恢复.

这意味着即使没有驱动器发生故障,没有RAID也会丢失数据 – RAID是您唯一的选择.

如果选择RAID5(总容量n-1,其中n =磁盘数),它仍然不够.使用包含6 x 2TB硬盘的10TB RAID5,每年有一次驱动器故障的可能性为20%且单个磁盘发生故障,由于URE,您将有50%的机会成功重建RAID5并恢复100%的数据.

基本上,由于磁盘容量大,URE相对较高,因此需要RAID6才能确保单磁盘故障.

阅读:http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读