APP下载

华为云鲲鹏云容器,见证BigData Pro蝶变之旅

2019-09-10 16:49

  大数据之路顺应人类科技的进步而诞生,一直顺风顺水,不到20年时间,已渗透到社会生产和人们生活的方方面面。然而,伴随着信息量的指数级增长,大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题,导致唱衰之声此起彼伏。而近年来兴起的容器技术,以其轻量化、易迁移、扩容快等优势,结合计算存储分离的分布式架构,可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场景下的优势。

翩然入世

  互联网、汽车、保险、电力、零售等行业,利用海量信息分析用户特征及行为模式,从而制定更贴近用户的服务方案、商业策略,并进行精准推送。目前大部分数据分析都在Hadoop生态中进行,Hadoop也凭借其完善的生态,备受用户欢迎,成为主流的开源大数据平台,也成为了大数据的代名词。

困蛹之境

  然而,从2006第一个Hadoop版本发布算起的话,大数据的发展也经历了至少13个年头,当初引以为傲的“计算存储融合”架构以及先进的数据分析理念和实践,也开始遭受挑战:

  1、计算存储资源耦合,无法灵活调整存算配比,只能按固定比例扩容,导致部分资源浪费;

  2、数据中心建设成本高,后期运维成本有高,性价比和灵活度均不如公有云方案;

  3、互联网时代,数据爆炸式增长,现有数据中心资源不足,极易导致作业拥塞,降低计算效率;

  4、大数据与其它业务资源池无法共享,需分开维护多套,进一步增加运维成本。

  此外,AI、机器学习、自然语言处理(NLP)等概念的兴起,也对大数据造成冲击,“大数据已死”的风声开始不绝于耳。

破茧之挣

  随着5G+云+AI时代来临,数据变得更多、更复杂、更精细化,大数据不仅没有死,反而对企业变得前所未有的重要。而亟待我们解决的问题是:如何用一种更高效、更实用的解决方案,处理爆炸式增长的数据。围绕这一课题,各大公司也展开了新一轮的技术探索与升级。

  首先,基础网络飞速发展,网络传输已不再是瓶颈,许多公司开始在大数据的存储和计算分离方面做尝试,效果如何呢?IDC中国报告指出:“解耦计算和存储在大数据部署中被证明是有用的,它提供了更高的资源利用率,更高的灵活性和更低的成本。”

  同时,伴随着容器技术的成熟及在各行业的深入应用,部分企业也着手于平台的容器化改造,希望结合容器的优势,为大数据平台赋予新的力量。

  二者结合,我们似乎看到了大数据蜕变的曙光。

化蝶之旅

  目前,存算分离的方案相对已经比较成熟,容器化方案还处于探索和小规模应用阶段,以Spark为例,方案大体上分为2种:

  一种是Spark Standalone,该方案仅对大数据系统做容器化部署改造,得益于容器轻量化、更细粒度的算力管理、任务隔离等特点,可以将主机划分成更多小颗粒的任务单元,使主机资源利用率更高,同时兼顾用户原有的使用习惯。但此方案需要提前分配固定的容器数量,并保持容器的持续运行,无法对容器进行动态管理,资源的利用率虽然有所提升,但仍存在浪费。

  另一种是Spark On Kubernetes集群方案,该方案使用Kubernetes替代Yarn来进行统一的资源编排和调度,技术上更贴近主流容器解决方案,免去了二层调度,可以进一步提升资源管理效率,相比Standalone方案,实现了对容器资源的动态管理,优化了资源分配。

  然而,Kubernetes不属于Hadoop生态组件,与传统Spark on YARN方案相比存在一些劣势,如:缺少任务队列、external shuffle service等特性,且性能较差。因此在应用到生产系统时,还要做大量的功能增强、调度和性能优化,才能保持与传统大数据平台一致。

  针对客户容器化过程中的问题,华为云计划推出鲲鹏大数据容器解决方案,该方案与BigData Pro相结合,将提供一套更完善的容器化大数据解决方案。

  BigData Pro是业界首个鲲鹏大数据解决方案,该方案采用基于公有云的存算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务为统一的存储数据湖,提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提升了大数据集群的资源利用率,能有效应对当前大数据行业存在的瓶颈,帮助企业应对5G+云+智能时代的全新挑战,实现企业智能化转型升级。

未来可期

  2019年全联接大会上,华为云将正式发布鲲鹏大数据容器解决方案,该方案针对大数据业务场景,在功能、调度和性能上有了优化和增强,能为用户提供更原生的大数据服务体验。

  华为云鲲鹏大数据容器相比业界主流大数据平台有哪些优势?华为云鲲鹏大数据容器又使用了哪些黑科技?9月18日华为全联接大会,让我们一起拭目以待!

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

相关文章

最新资讯

  • “数”说疫情:WPS稻壳儿免费疫情模板累计下载…
    2020-02-28 12:03
  • 当多个客户端并发传输大文件时,其传输速度还…
    2020-02-28 12:03
  • 国美万人直播节 看直播买家电更放心
    2020-02-28 11:01
  • 头条搜索APP正式上线:仅6.85MB 无广告
    2020-02-28 10:59
  • 全国一体化政务服务平台复工复产防疫服务专题…
    2020-02-28 10:01

手机

  • Sony Xperia 1 II 登场 蔡司加持、加回 3.5mm 耳机孔 价格尚未公布
    2020-02-27 17:50
  • 别再纠结于手机镜头中的光学倍率 手机中其实早已没有纯粹的光学变焦了
    2020-02-27 14:52
  • LG V60 ThinQ 5G 新机发表 具备双屏幕配件、支援 8K 录影
    2020-02-27 13:53
  • 高通成为5G芯片第一战赢家 表示已有超过70款手机搭载高通骁龙865平台
    2020-02-27 11:26
  • 苹果建议不要滑动关闭后台程序 会缩短电池寿命是真的吗?
    2020-02-26 15:51

数码

  • vivio Z6发布:2198元买765G、5000mAh、44W快…
    2020-02-28 12:05
  • “移植”手柄 黑鲨3 Pro搭载机械按键:21mm键…
    2020-02-28 12:05
  • 华为P40/P40 Pro入网:最高支持40W快充
    2020-02-28 11:03
  • 三星Galaxy S20系列国行版上线,售价6999元起
    2020-02-28 10:02
  • 苹果Powerbeats 4已通过FCC认证
    2020-02-28 10:02

科技

  • 中国铁路12306优化电子客票退票:已领报销凭证可先网上退票
    2020-02-28 11:51
  • 嘀嗒公司被约谈:要求全面暂停进出京跨城相关业务
    2020-02-28 11:51
  • 恒大8.5亿美元入股FF 贾跃亭的造车梦总有人接盘
    2018-06-26 02:31
  • 祖传区块链 专治假新闻?
    2018-06-26 02:31
  • VR游戏《HoloLAB冠军》即将登陆Steam平台
    2018-06-26 02:31