linux – 分布式,并行,容错文件系统

发布时间：2020-12-13 18:08:02 所属栏目：Linux 来源：网络整理

导读：有很多选择,很难知道从哪里开始.我的要求是这些：在Linux上运行大多数文件的大小在5-9 MB之间.还会有大量的小型jpgs(100px x 100px). 所有文件都需要通过http提供. 冗余 – 理想情况下,它将提供类似于RAID 5的75％的空间效率(在RAID 5中,这将被计算：具有4

有很多选择,很难知道从哪里开始.我的要求是这些：

>在Linux上运行
>大多数文件的大小在5-9 MB之间.还会有大量的小型jpgs(100px x 100px).
>所有文件都需要通过http提供.
>冗余 – 理想情况下,它将提供类似于RAID 5的75％的空间效率(在RAID 5中,这将被计算：具有4个相同的磁盘,25％的空间用于奇偶校验=> 75％效率)
>必须支持几PB的数据
>可扩展
>在商品硬件上运行

此外,我寻找这些品质,虽然它们不是“要求”：

>稳定,成熟的文件系统
>大量的动力和支持
>等

我想要一些关于哪个文件系统最适合给定要求的输入.我组织的一些人倾向于MogileFS,但我不相信该项目的稳定性和动力.基于我的有限研究,GlusterFS和Lustre似乎得到了更好的支持……

思考？

解决方法

如果是我,我会使用GlusterFS.当前版本非常可靠,我知道人们在HPC和Internet空间的某些非常大的安装中依赖于它们的生产系统.您可以根据需要通过布置组件来定制它以满足您的需求.与Lustre不同,没有专用的元数据服务器,因此最小化了中心故障点,并且更容易扩展设置.

不幸的是,我认为没有一种简单的方法可以满足你的75％标准而不会降低性能.

它确实在商用硬件上运行,但是在使用Infiniband互连时性能确实很高.幸运的是,IB的价格现在非常低.

你可能想看看Scalable Informatics的人和他们的Jackrabbit产品作为解决方案.他们在硬件上支持GlusterFS,他们的解决方案的价格肯定可以与从头开始整合的成本相媲美.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!