广告
广告
大数据架构演进,融合是主旋律
您的位置 资讯中心 > 产业新闻 > 正文

大数据架构演进,融合是主旋律

2021-09-23 17:15:46 来源:C114通信网

【哔哥哔特导读】在王德政看来,大数据与云基础设施的融合过程,是大数据逐步放弃存储计算一体化模式的过程。在此过程中,存算分离带来的计算资源调度和性能下降问题是主要挑战。

9月17日,由国家工业和信息产业部、湖南省人民政府联合主办的2021世界计算大会在长沙举行。

大数据

中兴通讯中心研究院总工王德政在会上发表了题为“生态融合趋势下的大数据架构演进”的主题演讲,分享了中兴通讯对大数据生态发展的思考与探索。

他表示,要实现“以分布云为基础,覆盖全场景部署”的生态融合的大数据架构,需要面对基础设施融合、数据管理融合、计算框架融合这三方面的挑战。

在王德政看来,大数据与云基础设施的融合过程,是大数据逐步放弃存储计算一体化模式的过程。在此过程中,存算分离带来的计算资源调度和性能下降问题是主要挑战。而根据不同的应用场景,采用从基础设施到应用的多种技术进行协同处理,是解决这一问题的重要途径。

在数据管理方面,从大数据的视角看,数据仓库和数据湖均越来越重视数据价值的实时性,两种模式的融合是必然趋势。湖仓融合将提供批流融合的计算和存储,统一元数据服务向上提供无缝的数据开发和管理体验。同时,从数据库角度看,OLTP与OLAP向HTAP的融合是另一条技术路线。

王德政认为,大数据系统向生产系统延伸,使得原本只能批处理的数据具备了流处理的基础。当前批流分设的架构,不仅会造成数据孤岛与重复,还造成批流任务无法统一管理等系统性问题。批流一体的计算框架能够改善批流分离造成的数据孤岛,统一任务管理,并且还具备数据处理实时性高、硬件资源需求均衡等优点。

“未来生态融合的大数据架构,一定具备基础设施融合、数据统一管理、计算模式统一的特征,并能够在任何地点提供任何规模的全场景算力服务。”

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时更正、删除,谢谢。

分享到:
阅读延展
大数据 大数据架构 大数据系统
  • 发展大数据,贵州干得漂亮

    发展大数据,贵州干得漂亮

    目前,随着贵州大数据产业发展的风生水起,贵州省数字经济发展保持良好势头,数字经济增速已经连续六年排名全国第一。

  • “生态环境+电力大数据”携手共建智慧城市

    “生态环境+电力大数据”携手共建智慧城市

    准确掌握相关企业的生产运行情况,建立“散乱污”波形库与分析模型,促进电力大数据产品应用于生态环境治理平台“一张图”,打造电力大数据助力生态环境精准治理综合示范样板。

  • 人工智能被提升到国家级的战略高度

    人工智能被提升到国家级的战略高度

    2017至2019年,政府工作报告连续三年提及加快人工智能产业发展;2020年,人工智能更是与5G基站、大数据中心、工业互联网等一起被列入新基建范围。

  • 到2025年大数据产业集群规模达3000亿元

    到2025年大数据产业集群规模达3000亿元

    数据加工及分析外包、离岸服务外包、新技术服务外包等服务。支持物流、医疗、教育、养老、家政、文旅等服务行业企业搭建大数据平台,积极推动平台经济、共享经济创新发展。

  • 省人大常委会副主任叶壮调研广安大数据产业发展情况

    省人大常委会副主任叶壮调研广安大数据产业发展情况

    叶壮指出,大数据关键在好用、管用,要坚持以人民为中心的发展思想,为人民多做好事实事;要进一步加强大数据与政务服务、民生事业的融合,打造服务型、智慧型、效能型政府。

  • 以用户为导向,美的智能化全面升级

    以用户为导向,美的智能化全面升级

    科技的发展总是以浪潮的形式出现,随着5G与大数据等技术的日新月异,智能化这股浪潮正浩浩荡荡席卷整个家电行业。智能家居,作为AIoT生态体系最重要的落地场景,越来越多的品牌在此领域发力,而美的集团始终走在行业的第一梯队。

  • 大数据开发和大数据平台开发的区别

    大数据开发和大数据平台开发的区别

    既然大数据形成了一个大的产业,那么必然会形成符合大数据产业结构的人才需求体系,目前大数据人才方向主要分为大数据架构、大数据开发、大数据分析这3个方向。

  • 大数据时代背景下,企业该如何提升竞争力?数智科技有两点建议

    大数据时代背景下,企业该如何提升竞争力?数智科技有两点建议

    除预测之外,大数据还有更加广泛地应用空间,以谷歌开发的大数据系统“谷歌流感趋势”为例,当关键词“胸闷、温度计、流感症状”等在搜索引擎中不断攀升时,谷歌会接收到相应的预警,之后上报相关机构进行应对处理。

  • 方大炭素大数据建设提速提质

    方大炭素大数据建设提速提质

    出台以正向激励为主的大数据系统管理办法,促进企业大数据系统不断迭代、持续完善;建立了灵活的数据收集方式,实现了基础数据应采尽采;通过大数据系统建设,优化、简化了工作流程。

  • 一亩田与商务部达成农业大数据合作,共推产业数字化新发展

    一亩田与商务部达成农业大数据合作,共推产业数字化新发展

    “天机”农业大数据系统具有强大的数据分析和处理能力,涵盖了丰富的农产品行情大数据,本次合作已非第一次为政府部门提供信息服务与决策参考依据。

  • 县域产业升级亟待完善大数据系统

    县域产业升级亟待完善大数据系统

    大数据系统建设成为项目资金支持的重点。有的示范县利用大数据进行科学决策和预判,精准施策,提升了经济运行效率和管理水平。

  • 基于运行监控场景的大数据应用探究

    基于运行监控场景的大数据应用探究

    性能容量类场景。一般而言,性能数据主要通过大数据系统监控平台对其相关信息进行采集并展现出来,但跟数据的交易类型相割裂,很难通过数据的交易量的变化对其性能数据开展关联性分析,进而找到数据运营的规律所在。

  • 被AI和大数据重做一遍的训练、竞技与健身

    被AI和大数据重做一遍的训练、竞技与健身

    PHD从边缘计算到数据中心的大数据系统雏形初具。凭借提供端到端基础设施解决方案的综合能力,依托中国区研发中心的深厚积累,戴尔从底层架构到中间的业务平台。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“哔哥哔特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得哔哥哔特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
粤B2-20030274号   Copyright Big-Bit © 2019-2029 All Right Reserved 哔哥哔特 版权所有     未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任