广告
广告
大数据平台搭建包含哪些层级
您的位置 资讯中心 > 产业新闻 > 正文

大数据平台搭建包含哪些层级

2020-09-10 11:51:06 来源:中琛魔方 点击:759

【大比特导读】提供基于云的列式存储、NoSQL存储或数据仓库存储能力;根据业务需求和快速配置,可切换相应的分布式存储模式,还可根据需要对传统BI系统的数据仓库和数据集市进行集成。

大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源,围绕企业业务开展大数据应用建设,最终形成面向服务化的数据资产。而今天我们就来了解一下,常见的大数据平台都包含哪些层次?

1、数据采集层:分3个层面的采集技术进行支持,一是传统业务系统数据库和半结构化、结构化数据的采集和集成,如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集,包括实时传感器数据、定位轨迹数据和其他实时流数据;三是交通公共数据的采集,包括公网的数据爬取、开放平台的数据接口、行业公共数据库的数据交换等。对采集到的数据需进行提取、转换和加载(extract-transform-load,ETL)处理,包括数据抽取、转换、清洗和隐私脱敏等预处理工作,预处理集成后的数据进入交通大数据云存储中心。

大数据

2、数据存储层:交通领域数据规模巨大,数据存储层需设计基于云计算的分布式云存储系统,以支持海量数据的存储扩展。提供基于云的列式存储、NoSQL存储或数据仓库存储能力;根据业务需求和快速配置,可切换相应的分布式存储模式,还可根据需要对传统BI系统的数据仓库和数据集市进行集成。利用Hadoop集群提供PB级存储能力扩展,同时Hadoop YARN和Spark Mesos等集群资源管理框架可支持多种存储模式和计算模式在此基础上,对各类存储数据进行多粒度信息融合,构建统一数据处理单元,为计算服务层提供标准化的分析数据集。

3、数据计算层:针对交通大数据多源、异构、海量等特征,传统的计算模型难以直接处理。数据计算层需满足主流大数据处理框架的各种计算模型与方法实现,如基于云计算并行框架,实现基于Hadoop批处理、Storm流处理、Spark内存处理的高效数据挖掘与机器学习。数据计算层采用基于统一数据处理单元和计算模式、模型微服务化的大数据分析框架,通过构建多种微服务簇网络,为应用层提供支持MapReduce、Storm、Spark等多种计算模式下的多种数据挖掘模型与方法(如分类、聚类、序列等);根据大数据分析需求和数据特征,可基于组件配置和服务治理技术进行各类服务的快速切换和灵活管理。

4、数据应用层:数据应用层首先要满足智慧交通各类大数据分析需求,包括基本的可视化与查询、展示、探索等,分析结果能结合知识库应用于决策支持。另外,大数据系统本身管理方面,针对构件化和微服务设计,需对相关中间件进行设计,实现服务治理、组件配置、安全、接口等功能,以支撑存储层和计算层各类微服务的敏捷管理。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时更正、删除,谢谢。

分享到:
阅读延展
大数据 大数据分析 大数据系统
  • 大数据技术为制造业提供多方位、精细化的服务

    大数据技术为制造业提供多方位、精细化的服务

    现代供应链正在演变,并变得越来越复杂。大数据分析解决方案可提供供应链可视性,即时了解关键供应链的各种信息,例如哪些供应商表现良好,他们的产品制造种类、周期、质量等情况,以及按时交付订单的能力有多强。

  • 全国首家黄河文化旅游研究(大数据)中心在河南启动

    全国首家黄河文化旅游研究(大数据)中心在河南启动

    大会将与中国旅游研究院联合发布黄河文化旅游大数据营销白皮书、黄河文化旅游大数据分析报告等,推动黄河流域文旅行业的线上化、数字化转型步伐,增添科技动力打造网络热点,有效提升黄河旅游文化的线上影响力。

  • 京东数科T1大数据平台 推动金融新基建发展

    京东数科T1大数据平台 推动金融新基建发展

    全新大数据平台包括数据采集平台、数据治理平台、数据分析和可视化平台、DAAS数据服务平台、大数据管理平台和数据地图,其中还包含大数据分析的全生命周期,为各个行业提供“一站式”解决方案,通过对海量数据进行深度挖掘,实现真正的数据价值。

  • 大数据分析与大数据开放有何区别

    大数据分析与大数据开放有何区别

    大数据作为时下最火热的IT行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据分析也应运而生。

  • 全国首家黄河文化旅游研究(大数据)中心启动

    全国首家黄河文化旅游研究(大数据)中心启动

    大会将与中国旅游研究院联合发布黄河文化旅游大数据营销白皮书、黄河文化旅游大数据分析报告等,推动黄河流域文旅行业的线上化、数字化转型步伐,增添科技动力打造网络热点,有效提升黄河旅游文化的线上影响力。

  • 大数据分析平台提供商“智领云”完成数千万元A轮融资,金沙江联合资本领投,线性资本

    大数据分析平台提供商“智领云”完成数千万元A轮融资,金沙江联合资本领投,线性资本

    智领云在能源、教育、医疗健康、物联网、金融等行业同国内外很多知名企业和上市公司建立了合作关系。公司与合作伙伴在多个领域中展开紧密的合作,充分利用各自的优势,共同为企业客户提供更有价值的云计算、大数据产品和技术服务。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“大比特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得大比特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
粤B2-20030274号   Copyright Big-Bit © 2019-2029 All Right Reserved 大比特资讯公司 版权所有     未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任