加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

Lustre部署软硬件依赖

发布时间:2020-12-13 22:43:37 所属栏目:百科 来源:网络整理
导读:博客公告: (1)本博客所有博客文章搬迁至《博客虫》http://blogchong.com/ (2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”; (3)更多的相关文章更新,以及代码等,请关注博客虫网站,网站中有技术Q群,以及代码共享链接。 (4)该博客内容还会继续

博客公告:

(1)本博客所有博客文章搬迁至《博客虫》http://blogchong.com/

(2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”;

(3)更多的相关文章更新,以及代码等,请关注博客虫网站,网站中有技术Q群,以及代码共享链接。

(4)该博客内容还会继续更新,不过会慢一些。


该文档为原创文档,若要转载,请标明出处:http://blog.sina.com.cn/s/blog_8c243ea30101imfs.html

类型

详细

备注

该文档为Lustre调研文档的一部分,关于软硬件依赖部署

相关描述

2 其他相关文档请参考新浪博客http://blog.sina.com.cn/huangchongyuan

2

2 部分文档涉及到源码,有需要的博客留言

2欢迎加入storm-分布式-IT技术交流群(191321336,群中有详细的资料),一起讨论技术,一起分享代码,一起分享设计。

1 Lustre对操作系统的版本依赖

资料参考:http://downloads.whamcloud.com/public/lustre/

Lustre-Version

servser

client

Luster-1.8.6-wcl

el5: i686 x86_64

el5: i686 x86_64

el6: i686 x86_64

Luster-1.8.7-wcl

el5: i686 x86_64

el5: i686 x86_64

el6: i686 x86_64

Luster-1.8.8-wcl

el5: i686 x86_64

el5: i686 x86_64

el6: i686 x86_64

Luster-1.8.9-wcl

el5: i686 x86_64

el5: i686 x86_64

el6: i686 x86_64

Luster-2.1.0

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.1

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.2

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.3

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.4

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.5

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.6

el5: x86_64

el6: x86_64

el5: x86_64

el6: x86_64

sles11: x86_64

Luster-2.2.0

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.3.0

el6: x86_64

el5: x86_64

el6: x86_64

sles11: x86_64

Luster-2.4.0

el6: x86_64

el6: x86_64

sles11sp2: x86_64

注:上表为各个lustre对操作系统的安装要求。

2 Lustre部署硬件需求

硬件

角色

详细描述

CPU

MDS/MDT

? 只有64位系统是经过官方测试及其所明确表示支持的

? 推荐最少使用4核的CPU

? 64位CPU能够使系统避免有4GBRAM、16TB文件大小的限制

? CPU性能升高,有助于系统性能的提升

OSS

? 推荐最少使用4核64位CPU

Client

? 推荐最少使用64位CPU

内存

MDS/MDT

? MDS内存考虑因素:Number of clients;Size of thedirectories;Load placed on server

? 消耗内存的进程:File system metadata;Networktransport;Journal size;Failover configuration

? 内存量升高有助于明显提升性能

OSS

? 内存消耗需求:Serivice threads;OSS read cache

? 单个OST最少需要3G的内存,若需要做failover则需要5G的内存

Client

? 最少需要2G的内存

存储设备

MDS/MDT

? 对于磁盘要求有较短的数据查找反应时间

? 磁盘需满足大数量小文件的查找

? 推荐使用high-RPM的SAS或者是SSD盘

? 推荐使用RAID6,保证数据的安全

OSS/OST

? 要求有较高的磁盘I/O

? 考虑磁盘数量及成本,推荐使用SATA盘

? 底层磁盘推荐做RAID6,保证数据安全

? 单个OSS最多多8个OST

Client

? 客户端与存储设备没有直接的接口,对存储设备没有需求

其他

---

? 网络推荐进行网卡绑定

? 推荐使用Infiniband网络,但成本会较高

? 服务器的PAGE_SIZE不能大于客户端的PAGE_SIZE

注:该部分参考自Lustre Manual 2X.pdf

3 Lustre属性限制

Limit

Value

Maximum number of MDTs

4096

Maximum number of OSTs

8150

Maximum OST size

128TB

Maximum number of clients

131072

Maximum size of a file system

512 PB

Maximum stripe count

2000

Maximum stripe size

< 4 GB

Minimum stripe size

64 KB

Maximum object size

16 TB

Maximum file size

16 TBon 32-bit systems

31.25 PBon 64-bit systems

Maximum number of files or sub-directories in asingle directory

10 million files

Maximumnumber offiles in the file system

4096 * 4 billion

Maximum length of a filename

255 bytes (filename)

Maximum length of a pathname

4096 bytes(path-name)

Maximumnumber ofopen files for Lustre file systems

None

注:该表参考自Lustre Manual2X.pdf,且其数值参照版本为Lustre2.4.0

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读