加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

为了驾驭大数据处理,中外互联网巨头做了同样的选择

发布时间:2020-12-14 01:44:14 所属栏目:大数据 来源:网络整理
导读:数据,数据,我要大数据 在今天这个大数据的时代,数据已经成为了许多企业发展的命脉。 图片转自synergicpartners 有些企业需要数据来形成用户洞察,有的企业需要数据来优化业务流程;甚至对于部分企业来说,数据就是他们最珍贵的资产。 在这个卖煎饼都需要


数据,数据,我要大数据


在今天这个大数据的时代,数据已经成为了许多企业发展的命脉。



图片转自synergicpartners


有些企业需要数据来形成用户洞察,有的企业需要数据来优化业务流程;甚至对于部分企业来说,数据就是他们最珍贵的资产。


在这个卖煎饼都需要依据大数据来分析客户的时代,企业没有自己的大数据,都不知道怎么跟人聊天了...


但是,但是!但是!!

会不会有一天大数据大过了头,超过了企业的驾驭能力呢?


(呵呵哒,能别逗吗?还能有这种事?!你一个大数据能有多大?都不好意思反驳你。)

?

数据的真相——再这样下去,数据真的装不下,也算不完了


好,既然有人诚心诚意的问了,那我们就来看看真相是怎样的:

与Web1.0的时代最大的不同是,Web2.0、移动互联网等等先进的技术和平台,把人与内容的关系深化为人与人的关系,人人都可以是内容的制造与传播者,简单来说,在偌大的网络空间里,人人都能成为“话唠”(就像小编这样的,平时话不多,网上话不停)!


比如说:

  • 失恋的小伙儿很伤心,那不得发一条伤心欲绝、催人泪下的朋友圈吗?

  • 小姑娘去趟韩国玩高兴了,那不得在微博发一套自拍九连张吗?

  • 自己爱的明星又出新歌了,那歌迷们不得把新歌老歌分享个七八九十首的,表达自己的爱意吗?

  • 爸爸妈妈们又学会新的广场舞了,那还不得拍它三五段视频放在网上,等候点赞吗?

随着生产、保存和呈现数据的技术和手段变得越来越易用和多元化,源源不断的海量数据就像北京春天的杨絮一样,漫天飞舞的呈现在我们面前。


俗话说的好,再大的硬盘也有装满的时候,再快的手机也有卡机的一天。如果说全球整体的数据量,那就更为惊人了!


  • 预计到2020年全球数据总量将超过40ZB(相当于4万亿GB),是2011年的22倍。

  • 在过去几年,全球的数据量以每年58%的速度增长,未来这个速度会更快。

  • 如果按照现在存储容量每年40%的增长速度计算,到2017年需要存储的数据量甚至会大于存储设备的总容量。

  • 几年前3000台服务器容量的数据中心就可以完成的处理工作,几年后服务器数量至少需要乘以10!


你说多不多?多不多!多不多?!


“这是问题吗?”有人会想,只要有钱,我们就狂刷服务器,还怕处理不了大数据?(是的,处理不了:冷静脸)


服务器CPU的主频、内存的容量和I/O带宽,都会影响到运算速度。另外,更重要的是,根据摩尔定律,目前最新款计算机芯片已经突破7纳米尺度,向更小型化发展越来越难,而新的工作负载还在不断涌现,支撑单位硬件计算能力提升的摩尔定律越来越接近极限,数据中心的空间和电力供应也已经无法跟上服务器数量的疯狂增长。(对,服务器是有了,就是没电)


那么,企业在数据处理方面面临巨大的挑战,什么才是应对之良策呢?


互联网巨头的秘密—— OpenPOWER: 超大型数据中心的能力者


让我们来看看国内外的互联网巨头,Google和腾讯都是如何应对大数据挑战的吧:


  • 在国外,2016年4月, Google表示,正在与RackSpace开发一项基于IBM公司新型POWER9架构的开放服务器规范,并向开放计算项目(OpenCompute Project)提交一项POWER9 服务器待选设计方案,供项目成员使用。

  • 在国内,2016年6月,腾讯也谈到开放式合作的重要性以及对OpenPOWER技术的支持。腾讯服务器平台中心架构师王伟表示:“我们会深入挖掘OpenPOWER的技术潜力,取得更大突破,共同推动新技术的发展。”


中美两国的互联网巨头,为何不约而同地选择了OpenPOWER?


那是因为,新一代应用迫切需要通用处理器计算和特定目的的协处理器计算(加速器,如FPGA)混合异构工作,而OpenPOWER分布式计算就在软件和硬件架构上提供了这种全新的能力:

利用OpenPOWER处理器先进的CAPI技术,FPGA能实现与处理器的高效连接,从而充分利用FPGA可编程硬件强大的硬件加速能力,实现软硬结合的异构计算,将不同类型的应用负载加载在两种甚至多种类型的处理器件上,以获得超过十倍甚至百倍的性能增速,同时能够相应减少服务器的数量,降低功耗和服务器占用空间。




如此一来,也就不难理解,身为互联网巨无霸的Google和腾讯,为何会选择OpenPOWER了。毕竟,对互联网公司而言,开放的架构、强大的计算能力以及灵活的定制化解决方案、都将为其带来货真价实的价值。


Web 2.0时代的大数据狂潮,以及紧接着的Web3.0智能时代,会持续对数据处理和认知能力提出更高更新的要求。Watson战胜综艺节目危险边缘(Jeopardy)两名总冠军的例子,恰恰预示着Web 3.0未来的走向——一个更加依赖于数据和认知计算,比你更懂你的时代。 OpenPOWER,正受到越来越多全球领先的技术供应商和终端用户的青睐。要像全球互联网巨头一样,能够从容应对未来的挑战,而紧紧抓住转瞬即逝的机遇,知道该怎么做了吧?

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读