大数据平台系统设计包括哪些

数据人生 2021-09-16

大数据系统设计元数据

1032 字丨阅读本文需 2 分钟

  建设大数据平台的最终目的是服务于业务需求,解决现有业务问题或者创造新的机会。业务部门可能并不关心是采用大数据技术,还是传统的数据库技术,是否采用大数据技术的主要依据是数据量。如果出现任务运行很久的情况,或者因为计算量太大现有技术不能满足,又或者有大量半结构化、非结构化数据需要处理的时候,可能就有大数据的诉求了。

  大数据平台系统设计包括哪些?

  1、目录管理系统

  目录管理系统用于盘点和梳理业务数据,编制发布业务目录,规划和指导数据的采集、处理、管理和共享等。一般包括目录分类管理、目录编制、审核和发布功能。

  2、数据采集系统

  数据采集系统为大数据平台提供基础支撑性 服务,构建高效、易用、可扩展的数据传输通道。

  3、数据资产管理系统

  数据资产管理系统主要作用为标准数据管理、元数据管理、数据资源管理和数据资产盘点。

  标准数据管理:管理对象为字典、数据元(用于业务方标准化管理业务字段),形成数据标准体系。

  元数据管理:元数据是所有系统、文档和流程中包含的所有数据的语境,是生数据的知识。

  ·元模型管理:获取并展示不同数据库类型的元模型元素及属性信息;

  ·数据源管理:新增、编辑、维护数据库信息;

  ·元数据注册:包括表、视图、索引、字段、列族、消息等各类元模型下的元数据;

  ·元数据查看:按数据源查看已注册的所有元数据,并可查看元数据的关联关系、血缘关系。

  数据资源管理:对数据资源进行目录化管理,形成有层级、有结构的数据资源集市。

  ·数据目录分类:实现数据目录的分类设置;

  ·数据目录编制:实现数据目录的新增、修改、删除、停/启等;

  ·业务目录映射:配置业务目录与数据目录的映射关系;

  数据资产盘点:数据资产仪表盘、数据资产查看。

  4、数据治理系统

  数据治理系统用于规范数据的生成以及使用,改进数据质量,对数据进行加工处理,提升数据价值。提供识别和度量数据质量能力、数据清洗转换能力、数据加工三个核心能力。

  数据质量管理:包括规则管理(准确性、完整性、唯一性、一致性、及时性、业务关联性等)、任务配置、检查报告。

  数据规整管理:包括格式转换、字典转换、内容转换、任务管理、日志等。

  数据加工:模型定义、模型调度。

  5、数据共享系统

  数据共享系统依托数据资源目录,按照数据交换标准,实现数据资源跨部门、跨层级、跨区域共享交换。提供资源展示、检索、申请、使用、下载能力,用户管理和资源授权能力,以及数据库表、服务接口、文件等类型共享交换能力。

  图片

  6、数据开发系统

  数据开发系统使用大数据或人工智能算法组件对数据进行分析、挖掘,形成数据服务产品。数据开发管理:包括应用工程管理、计算任务管理、任务调度管理、资源管理等。应用开发工具:提供在线开发IDE、数据源控件库、预处理控件库、模型控件库、可视化控件库、输出控件库、挖掘算法库等。

  7、数据分析系统

  对接各种业务数据库、数据仓库以及大数据平台,为用户提供从基本数据查询统计、数据交叉汇总、自由钻取分析、多维数据分析等多层次的数据分析功能。用户只需用鼠标拖拽指标和维度,即可产生数据分析结果。同时提供丰富的统计图表用于分析结果的可视化展示。

  大数据平台系统设计包括哪些.中琛魔方大数据平台表示企业要开展大数据相关业务,首先就需要基于自身的需求,来设计搭建数据系统平台。而大数据系统平台的搭建,需要基于实际需求,来进行系统架构规划。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:数据人生
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...