Flash在Facebook的使用
|
作者：阿呆 ? Facebook是闪存的深度用户，阿呆带你探秘Facebook王国~ 想要和阿呆还有全世界的大牛讨论SSD及存储相关技术？加nanoarch为微信好友，拉你进ssdfans微信群?。? ? Facebook的基础架构
截止2013年6月，Facebook有11.5亿用户，7亿人每天登陆。 截止2013年5月，每天新增45亿条赞、发帖和评论。 截止2013年1月，每天新增3.5亿张照片，总共有2400亿张，假如1MB一张，总共有240PB，需要24万块1TB的硬盘。相比文字，看来还是图片最耗存储资源和网络带宽。 2012年投资12.4亿美金用来买IT基础设备和建设Data Center，高效工作一直是第一优先级。机房一瞥。
Facebook的基础架构如下图。
什么是Rack？ Rack是Facebook容量的单位，一共40台server，Aggregator集中了大部分计算资源CPU，Leaf集中了大部分存储资源：DRAM。Rack里有大量的网络带宽，从图中可以看出，AL带之间是互联的。
下图为一个用户请求的响应过程，从前端到后端。
Facebook有5种server，Web前端要求很强的计算能力，Database、图片Server对硬盘的IOPS要求很高，Hadoop并行计算要求计算能力和IOPS高，Feed是推荐显示在页面的内容（新鲜事），要求高性能CPU和大容量DRAM，这个是实时产生的数据，所以放在DRAM里面。每小时都会有新增的Server加入进来。 PCIe Flash存储卡用来存储新鲜事和搜索的索引数据。
Flash在Facebook的使用 数据库：使用FlashCache缓存和Flash硬盘。 如下图，数据库已经都用Flash来保存数据了，缩短了延迟，增加容量，加快用户响应。
索引服务器：使用Flash替代DRAM存储索引数据。如下图，第6种server使用了Flash，1台叶子server保存2周的索引数据。
Cold Flash 尽管SSD和Flash厂商致力于制造高速、寿命长的Flash，但是Facebook也需要低速、短寿命的Flash。WORM（Write once Read many）技术能够提供便宜而且容量大的Flash。 如下图，Facebook的Knox rack能够给不常使用的磁盘（Cold Storage）断电，所以功耗比较低，但是可以看出，使用SSD的Rack也很省电。
Facebook渴望能造出最差的Flash 这样就能更便宜，容量更大。这种情况下，写得慢，寿命短，IOPS低都可以接受。其实Facebook就是想找个HDD的替代品，因为HDD工作时还是挺耗电的。 三年前的文章，有点老了~
不想错过阿呆的后续精彩文章？长按或扫描下面二维码关注ssdfans就可以了！
公司招聘： 深圳大普微电子招聘，SSD芯片设计，固件开发，机器学习相关人才！ 上海飞斯招聘: 存储开发工程师，RAID、USB、SATA、AHCI、NVME、FTL、文件系统的开发及调试 记忆科技上海UFS FW内推机会，UFS FW开发 ssdfans帮你内推 ssdfans帮你赚推荐费 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
