下一代大数据处理引擎,阿里云实时计算独享模式重磅发布
11月14日,阿里云重磅发布了实时计算独享模式,即用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立,是实时计算在原有共享模式基础上的重大升级。 独享模式优点更加突出 2、丰富的硬件:业务越来越丰富,对底层机器的配置会有更多样化需求,比如CPU:MEM配比,以及GPU、FPGA等硬件的需求。实时计算独享集群可充分复用阿里云在硬件层面做的各种优化,为您解决各种硬件适配问题。 3、用户间的隔离:对于ECS独享集群,您能够独享一批计算资源,且从网络上进入您的VPC。既满足了您专网专用、资源独享的需求,也可以跟您的IDC打通,更贴近您的业务需求。 4、更丰富的功能:Data Lake场景下的ETL:通过SQL+UDF的方式,使ETL任务开发更加便利。异构数据源计算:支持从异构数据源读取数据做分析。例如,远程从OSS读取数据归档日志,并join hbase中高危ip,做网络攻击分析等等。支持30+数据源的源表和结果表。 2018年双11,实时计算完成三项世界级挑战 2013年双11购物狂欢节第一分钟成交破亿,一千多万人同时涌入天猫。这些数据在杭州淘宝城内的数据大屏准实时播报。大屏上跳动的每个数字,来自于阿里集团内部几十个系统间的紧密合作,当在以最快速度秒杀到双11热卖商品的同时,这些系统已经完成了无数轮的数据采集、传输、加工、计算以及反馈到页面的工作。这也是阿里云实时计算技术的首次亮相。 在2018年的双11中,实时数据处理技术,包括日志数据和交易数据的实时采集、分发、计算,最终在媒体直播大屏上实时渲染和展示,整个链路的稳定性保障压力是巨大的。可以说,实时计算完成了三项世界级的挑战: 一站式、高性能实时大数据处理平台 基于Apache Flink在阿里巴巴搭建的平台于2016年正式上线,并从阿里巴巴的搜索和推荐这两大场景开始实现。为了将Apache Flink在阿里巴巴真正运行起来,阿里巴巴实时计算团队做了大量的优化,在阿里云上的产品命名为时时计算,以Flink SQL为主要API,致力于打造一款全球领先的实时计算引擎。 据了解,阿里云实时计算脱胎于阿里集团内部双11实时大屏业务,历经长期摸索和发展,将阿里集团本身沉淀多年的实时计算产品、架构、业务能够以云产品的方式对外提供服务,用户可以完全享受到阿里集团最新最前沿的计算引擎能力,业务上可规避阿里集团多年在流式大数据的试错和教训,更快、更轻松地实时化大数据处理流程,助力业务发展。 经过多年沉淀,目前,阿里云实时计算产品已具有国际领先的产品优势,在吞吐/时延、SQL支持、开发体验、窗口支持、乱序支持、上下游对接等多方面都优于其他云厂商的相关产品。相对spark、storm等,阿里云实时计算人力成本低,开发运维更加便利,还可以无缝对接阿里云数据存储。用户可以充分利用阿里云实时计算提供的产品优势,方便快捷的解决自身业务实时化大数据分析的问题。 切实解决用户痛点 1、流式数据的及时性 2、一站式的流式数据处理 3、SQL化的流式分析 同时,实现实时的数据监控/分析。比如BI人员可以看到自己网站实时的访客数据变化,购买情况,交易额波动等,不需要一段时间后才能做统计和分析。之前150人/月的工作,现在只需3个人/月就可以轻松解决,效率提升了50倍。 使用场景广泛 实时计算擅长解决的几个领域的应用场景包括,实时的网络点击PV、UV统计;统计交通卡口的平均5分钟通过车流量;水利大坝的压力数据统计和展现;网络支付涉及金融盗窃固定行为规则的告警等。特别适合BI人员、大数据开发人员等用户。 大体分为四种典型场景: 用户案例丰富 独享模式应运而生 实时计算今年4月份商业化以来,一直以“共享模式”的形式对外输出,在批处理领域,SQL 已经经历了几十年的考验,是公认的经典。但另一方面也对用户造成两大困扰: 1.仅使用 SQL难以描述自己的业务逻辑; 因此,实时计算独享模式应运而生。独享模式,是实时计算在原有共享模式基础上的补充。用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立。具备UDX开放、丰富的硬件、用户间的隔离等特性。 使用流程简洁方便 产品的具体使用也十分方便,具体来说有以下几步: 了解更多产品详情,欢迎点击 ? ? 阅读原文??????? (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |