FB开发冷存储技术 低能耗低成本处理海量数据

据国外媒体报道，Facebook正在研发“冷存储”技术，能够在低能耗、低成本的条件下保证海量数据的响应速度。

每个月，Facebook的用户平均要上传总容量高达7PB的图片，面对这些海量数据，Facebook正在考虑全新的存储方式。该公司负责基础设施工程的副总裁杰伊·帕里克（Jay Parikh）表示，随着图片数量的增长，Facebook需要寻找价格和能耗都较低的存储途径。

帕里克周三在阿姆斯特丹的一个行业会议上表示，Facebook用户每天要上传约3亿张图片，在某些特别的日子里还不止这么多。“万圣节算是一年里照片上传的高峰日。这一天里的照片上传量可能会达到10到20亿张。”

拍摄于万圣节的照片很快就将不再引起人们的注意，过了几天，最多几周，人们就不会再去查看它们，但是“根据用户协议，即使人们不再查看这些照片，我们也不能把它们删除，我们必须保存这些图片，”帕里克说。由此引发了一个构想，对这些照片进行“冷存储”，他说。

他说，为了做到这一点，Facebook计划建设一个新型数据中心，在其中采用相对现有数据中心能耗更少、成本更低的存储方式、服务器和网络设备——同时还不能降低服务器的响应速度。

但Facebook能让冷存储的效率达到何种程度呢？在降低数据中心成本和能耗的同时，存储读取速度往往也会受到影响。

以磁带存储方式为例，它能降低能耗，但却会严重影响数据读取速度。

亚马逊网络服务系统（Amazon Web Services, AWS）的Glacier云存储服务走了一条中间路线，他们称之为磁带之外的新选择。这一服务专门针对那些无需经常读取的数据进行了优化，前提是可以接受数小时的检索时间。

按照帕里克的说法，这个时间对Facebook而言太长了。“当用户想要查看5到10年前上传的图片时，我们绝对不能在页面上拉出一个横幅，写着‘嘿，过24小时再来试试看吧’。我们的图片读取仍然需要相对而言接近实时的响应，”他说。

更低的能耗

现在使用中的数据中心往往都针对那些需要大量计算能力同时能耗很大的任务进行优化的。Facebook计划中的冷存储则走向了另外一个极端，帕里克说。他说，“你需要非常非常大的存储空间，但却并不需要那么大的计算能力。”他还指出，数据中心各个方面的问题都需要重新考量，以保证能应对Facebook目前所面对的庞大数据规模。

帕里克说，总体而言，Facebook正在研发能够在内容创作时间较久之后，自动判断在数据中心的什么位置以何种方式储存该内容的软件。“这意味着随着时间的推移，数据会在数据中心当中不断移动，以更好地利用为久远数据而优化的存储设施的各个部分。”他说，软件层面的一些创新能够保证Facebook在以低能耗储存数据的同时实现较快的响应速度。

他说，在未来一两年里，冷存储将成为Facebook基础设施的一部分。Facebook计划通过开放计算项目（Open Compute Project）来公开并分享冷存储项目中与之相关的内容。开放计算项目由Facebook于2011年4月发起，旨在把开源软件协作模式应用到数据中心硬件领域。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友