大数据分析的流程是怎样

数据人生 2020-11-09

大数据数据分析数据存储

802 字丨阅读本文需 2 分钟

  数据分析是指利用适当的统计分析方法,对大量收集到的数据进行分析,提取有用的信息,形成结论,对数据进行详细的研究和总结的过程,也是质量管理体系的支撑过程。那么数据分析的具体流程是什么呢?主要有以下几个步骤:

  一,数据收集

  数据收集是数据分析的最基本操作,你要分析一个东西,首先就得把这个东西收集起来才行。

  二,数据预处理

  收集好以后,我们需要对数据去做一些预处理。千万不能一上来就用它做一些算法和模型,这样的出来的结果是不具备参考性的。数据预处理的原因就是因为很多数据有问题,比如说他遇到一个异常值(大家都是正的,突然蹦出个负值),或者说缺失值,我们都需要对这些数据进行预处理。

  三,数据存储

  数据预处理之后,下一个问题就是:数据该如何进行存储?通常大家最为熟知是MySQL、Oracle等传统的关系型数据库,它们的优点是能够快速存储结构化的数据,并支持随机访问。但大数据的数据结构通常是半结构化(如日志数据)、甚至是非结构化的(如视频、音频数据),为了解决海量半结构化和非结构化数据的存储,衍生了HadoopHDFS、KFS、GFS等分布式文件系统,它们都能够支持结构化、半结构和非结构化数据的存储,并可以通过增加机器进行横向扩展。

  分布式文件系统完美地解决了海量数据存储的问题,但是一个优秀的数据存储系统需要同时考虑数据存储和访问两方面的问题,比如你希望能够对数据进行随机访问,这是传统的关系型数据库所擅长的,但却不是分布式文件系统所擅长的,那么有没有一种存储方案能够同时兼具分布式文件系统和关系型数据库的优点。

  四,数据分析

  做数据分析有一个非常基础但又极其重要的思路,那就是对比,基本上90%以上的分析都离不开对比。主要有:纵比、横比、与经验值对比、与业务目标对比等。

  五,数据运用

  其实也就是把数据结果通过不同的表和图形,可视化展现出来。使人的感官更加的强烈。常见的数据可视化工具可以是excel,也可以用BI系统。

  大数据分析的流程是怎样.中琛魔方大数据平台表示一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:数据人生
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...