广告
广告
大数据分析技术架构的通用模块
您的位置 资讯中心 > 产业新闻 > 正文

大数据分析技术架构的通用模块

2020-10-20 11:17:51 来源:中琛魔方 点击:394

【大比特导读】数据收集模块:主要负责收集各种数据源的数据,包括日志文件、网络请求、数据库、消息队列等,并将这些数据转换为文件或者消息向后传递。

对于企业来说,坐拥庞大的数据资源,想要实现大数据分析,首先要建立自己的大数据系统平台,每个公司都有自己的具体业务场景,因此对大数据平台的要求也不同。今天我们仅从通用的角度,来聊聊大数据分析需要什么技术架构?

不同的业务场景下,需要根据实际的业务需求,选择适合自己的技术框架,来搭建自己的大数据架构体系。但是从技术架构体系的共性来说,是可以从通用的技术模块去理解,来帮助我们更好地学习和掌握大数据技术架构的。

大数据

大数据分析技术架构通用模块:

数据收集模块:主要负责收集各种数据源的数据,包括日志文件、网络请求、数据库、消息队列等,并将这些数据转换为文件或者消息向后传递。

数据转存模块:主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。

ETL模块:主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库等。

数据仓库模块:这是整个架构的核心,数据仓库是数据有组织的集中存储的地方,负责数据的存取和管理。

元数据管理模块:主要负责记录和约束数据仓库中数据的含义和格式,控制着数据的生命周期和数据质量。

分析引擎模块:数据分析师交互最多的模块,主要负责执行各种分析语句或代码,完成各种分析任务。

作业管理与调度模块:负责分析作业的管理和定时调度,包括作业的增删改查、查看修改历史、设置调度定时和执行引擎等。

资源分配与调度模块:主要负责在多作业同时运行的场景下,有效协调和分配集群的资源,使资源利用率最大化。

声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时更正、删除,谢谢。

分享到:
阅读延展
大数据分析 大数据
  • 大数据技术为制造业提供多方位、精细化的服务

    大数据技术为制造业提供多方位、精细化的服务

    现代供应链正在演变,并变得越来越复杂。大数据分析解决方案可提供供应链可视性,即时了解关键供应链的各种信息,例如哪些供应商表现良好,他们的产品制造种类、周期、质量等情况,以及按时交付订单的能力有多强。

  • 全国首家黄河文化旅游研究(大数据)中心在河南启动

    全国首家黄河文化旅游研究(大数据)中心在河南启动

    大会将与中国旅游研究院联合发布黄河文化旅游大数据营销白皮书、黄河文化旅游大数据分析报告等,推动黄河流域文旅行业的线上化、数字化转型步伐,增添科技动力打造网络热点,有效提升黄河旅游文化的线上影响力。

  • 京东数科T1大数据平台 推动金融新基建发展

    京东数科T1大数据平台 推动金融新基建发展

    全新大数据平台包括数据采集平台、数据治理平台、数据分析和可视化平台、DAAS数据服务平台、大数据管理平台和数据地图,其中还包含大数据分析的全生命周期,为各个行业提供“一站式”解决方案,通过对海量数据进行深度挖掘,实现真正的数据价值。

  • 大数据分析与大数据开放有何区别

    大数据分析与大数据开放有何区别

    大数据作为时下最火热的IT行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据分析也应运而生。

  • 全国首家黄河文化旅游研究(大数据)中心启动

    全国首家黄河文化旅游研究(大数据)中心启动

    大会将与中国旅游研究院联合发布黄河文化旅游大数据营销白皮书、黄河文化旅游大数据分析报告等,推动黄河流域文旅行业的线上化、数字化转型步伐,增添科技动力打造网络热点,有效提升黄河旅游文化的线上影响力。

  • 大数据分析平台提供商“智领云”完成数千万元A轮融资,金沙江联合资本领投,线性资本

    大数据分析平台提供商“智领云”完成数千万元A轮融资,金沙江联合资本领投,线性资本

    智领云在能源、教育、医疗健康、物联网、金融等行业同国内外很多知名企业和上市公司建立了合作关系。公司与合作伙伴在多个领域中展开紧密的合作,充分利用各自的优势,共同为企业客户提供更有价值的云计算、大数据产品和技术服务。

  • 2020年智能音箱行业分析:三巨头濒临瓦解,京鱼座逆势增长161%

    2020年智能音箱行业分析:三巨头濒临瓦解,京鱼座逆势增长161%

    根据慢慢买大数据显示,今年7月至9月,小度略显优势。9月份,小度以月销额约2330万元在京东平台占了15.3%的市场份额,而小米则与其他品牌差距甚微。9月小米月销额约1719万元,排名第三的漫步者仅以130万元之差落后。

  • 河科大二附院5G物联网应用实验室揭牌

    河科大二附院5G物联网应用实验室揭牌

    据介绍,此次合作签约后,双方将利用优势资源共同推进5G网络、物联网、大数据、人工智能等新技术与临床、科研的深度融合,着力提升患者就医服务体验、优化服务流程、加速医联体建设等,携手打造“互联网+医疗健康”的响亮品牌,为百姓提供更加优质、便捷、高效的医疗健康服务。

  • 在奋斗中感受幸福—大数据中心党支部开展支部书记讲党课活动

    在奋斗中感受幸福—大数据中心党支部开展支部书记讲党课活动

    朱强同志从“定力、创新、成功”三个关键词入手,详细阐述和讲解了共产党人该如何保持“政治定力、工作定力、生活定力”,把握大势、坚持问题导向,树立创新理念,达到“把握人生方向、传播正能量、净化好心灵”的成功之路。

  • 朗源大数据项目落户龙门总投资116亿元

    朗源大数据项目落户龙门总投资116亿元

    “绿水青山就是金山银山,龙门良好的自然、区位、营商环境是吸引我们的重要因素。我们将利用企业在数据中心行业的资源、能力和敏感度,抢抓新基建机遇,推动项目早日开花结果,为龙门县、惠州市大数据产业发展发挥作用。”朗源股份有限公司总经理张涛表示。

  • 迪威迅积极入局大数据产业,结合市场趋势

    迪威迅积极入局大数据产业,结合市场趋势

    在政策利好及市场需求的推动下,大数据产业将迎来重大机遇,大数据发展将成为未来若干年内国家持续投资的一个重要方向之一。未来,迪威迅也将更好的结合市场趋势,积极制定企业战略。

  • 神州控股再中标吴江大数据三期项目

    神州控股再中标吴江大数据三期项目

    经过吴江政务大数据平台一期、二期的建设,吴江区已经具备了数据汇聚、数据治理和管理、数据服务等能力。截止到2020年8月,累计对接60家单位(按组织机构调整后数量统计),归集数据资源1388类约8.08亿条数据,已为37家单位提供了9.59亿多条数据支撑服务。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“大比特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得大比特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
Copyright Big-Bit © 2019-2029 All Right Reserved 大比特资讯公司 版权所有       未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任