建设大数据平台的最终目的是服务于业务需求,解决现有业务问题或者创造新的机会。业务部门可能并不关心是采用大数据技术,还是传统的数据库技术,是否采用大数据技术的主要依据是数据量。如果出现任务运行很久的情况,或者因为计算量太大现有技术不能满足,又或者有大量半结构化、非结构化数据需要处理的时候,可能就有大数据的诉求了。
大数据平台系统设计包括哪些?
1、目录管理系统
目录管理系统用于盘点和梳理业务数据,编制发布业务目录,规划和指导数据的采集、处理、管理和共享等。一般包括目录分类管理、目录编制、审核和发布功能。
2、数据采集系统
数据采集系统为大数据平台提供基础支撑性 服务,构建高效、易用、可扩展的数据传输通道。
3、数据资产管理系统
数据资产管理系统主要作用为标准数据管理、元数据管理、数据资源管理和数据资产盘点。
标准数据管理:管理对象为字典、数据元(用于业务方标准化管理业务字段),形成数据标准体系。
元数据管理:元数据是所有系统、文档和流程中包含的所有数据的语境,是生数据的知识。
·元模型管理:获取并展示不同数据库类型的元模型元素及属性信息;
·数据源管理:新增、编辑、维护数据库信息;
·元数据注册:包括表、视图、索引、字段、列族、消息等各类元模型下的元数据;
·元数据查看:按数据源查看已注册的所有元数据,并可查看元数据的关联关系、血缘关系。
数据资源管理:对数据资源进行目录化管理,形成有层级、有结构的数据资源集市。
·数据目录分类:实现数据目录的分类设置;
·数据目录编制:实现数据目录的新增、修改、删除、停/启等;
·业务目录映射:配置业务目录与数据目录的映射关系;
数据资产盘点:数据资产仪表盘、数据资产查看。
4、数据治理系统
数据治理系统用于规范数据的生成以及使用,改进数据质量,对数据进行加工处理,提升数据价值。提供识别和度量数据质量能力、数据清洗转换能力、数据加工三个核心能力。
数据质量管理:包括规则管理(准确性、完整性、唯一性、一致性、及时性、业务关联性等)、任务配置、检查报告。
数据规整管理:包括格式转换、字典转换、内容转换、任务管理、日志等。
数据加工:模型定义、模型调度。
5、数据共享系统
数据共享系统依托数据资源目录,按照数据交换标准,实现数据资源跨部门、跨层级、跨区域共享交换。提供资源展示、检索、申请、使用、下载能力,用户管理和资源授权能力,以及数据库表、服务接口、文件等类型共享交换能力。
图片
6、数据开发系统
数据开发系统使用大数据或人工智能算法组件对数据进行分析、挖掘,形成数据服务产品。数据开发管理:包括应用工程管理、计算任务管理、任务调度管理、资源管理等。应用开发工具:提供在线开发IDE、数据源控件库、预处理控件库、模型控件库、可视化控件库、输出控件库、挖掘算法库等。
7、数据分析系统
对接各种业务数据库、数据仓库以及大数据平台,为用户提供从基本数据查询统计、数据交叉汇总、自由钻取分析、多维数据分析等多层次的数据分析功能。用户只需用鼠标拖拽指标和维度,即可产生数据分析结果。同时提供丰富的统计图表用于分析结果的可视化展示。
大数据平台系统设计包括哪些.中琛魔方大数据平台表示企业要开展大数据相关业务,首先就需要基于自身的需求,来设计搭建数据系统平台。而大数据系统平台的搭建,需要基于实际需求,来进行系统架构规划。
参与评论
登录后参与讨论 0/1000