用于Web文件存档的存储空间是什么？
|
如果您要为10TB的文件存档设置一个主要是ISO映像(600MB-5GB)的站点,您会使用哪种架构和存储？
我希望能够将100个并发用户的交付容量增加到1000个用户,而不会浪费初始硬件(如果这是真实的). 我也希望以同样的方式将存储容量从10TB增加到100TB. 在这个阶段我无法假设有关活动文件集的任何内容.它可能最终只是一个可以缓存在RAM中的文件,但它也可能是存档的95％. 您是否将单个面向公众的服务器与DAS一起使用？ 您是否会使用Sun 7410等分层存储,并通过其SSD缓存模块扩展交付容量？ 那些带有MogileFS和GlusterFS等分布式文件系统的商用硬件呢？ 设置这样的东西的最佳方法是什么,这样才能轻松成长？ 解决方法
对于类似的尺寸和可扩展性,我们使用
3U supermicro servers.每个服务器可以容纳14个驱动器(主板上有14个集成的SATA端口,所以我们没有购买raid卡,我们在这种情况下有1个空闲插槽) .每个驱动器通过
AOE共享前端服务器.我们有14个驱动器的RAID-10块(使用linux md),它们与
LVM放在一起.
如果你小心不要将raid-10块的任何两个镜像驱动器放入同一个后端服务器,那么这个系统是多余的,它甚至可以承受丢失一个完整的后端服务器. 它很容易成长：只需购买另一台服务器,构建raid,将lvm扩展到它上面,你就可以开始了.我们使用支持在线调整大小的XFS. 目前我们使用1TB和1.5TB驱动器,我们计划在未来使用2TB驱动器.只有当驱动器位于同一个raid块中时,驱动器才需要具有相同的大小. 根据您的需求,一台装有14x 1.5TB或2TB硬盘的服务器将是一个很好的开始.您甚至不需要一个单独的前端服务器作为开始. 我们的设置可以轻松地产生1Gb / s的吞吐量,我认为这对于Web服务来说已经足够了. 如果您喜欢这个想法,我可以帮助您提供更详细的信息. 编辑： 还有一些事情： >这是一种有点自制的穷人存储解决方案.如果你有预算,不想浪费你的时间,并希望获得一流的企业级可靠性,那么你应该购买一些真正的SAN产品.价格可以很容易地高达10-30倍,特别是如果你想要100TB或更高.这并不意味着上述解决方案不起作用 – 确实如此,我认为SAN产品的额外价格在很多方面都不值得.>关于后端速度：遗憾的是,我无法给出确切的数字或测试测量结果.但我可以告诉你,即使是1个raid-10块的14个驱动器也很快.如果您需要更多空间,您将使用更多后端服务器,整体后端速度将进一步提高.更重要的是,如果任何后端将遭受太多并发用户(我怀疑),你可以从双向镜像到3路甚至更多,提高速度,寻求时间甚至可靠性.>关于前端速度：前端不必比转发数据包做更多的事情.现代服务器应该可以轻松保持10g / s的速度,因此它不会很快成为瓶颈. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |