DataOps 不只是一种开发方法。它利用民主化的访问和巨大的潜力，彻底改变了组织使用数据的方式。

最近，一项针对企业面临大数据挑战的调查显示，38% 的企业“缺乏”有说服力的商业案例来使用他们的数据，34% 的企业不具备处理大数据技术的成熟流程，24% 的企业没有能力让他们的用户使用大数据。

假如调查的结果是真实的，那么就意味着，很大一部分企业面对自己拥有的数据，以及从客户持续收集的数据，不知道自己能做什么，必须做什么。而这，也会让企业在与竞争对手进行比较时处于非常不利的地位。在数据驱动的竞争环境中，如果企业忽视数据，不能充分发挥数据的潜力，那么对组织而言只能带来灾难性的结果。

目前来看，很多企业都在收集大量的数据，其中一部分是遗留数据管道：随着数据在数据管道中从源移动到目标，每个阶段对数据的含义以及如何使用它都有自己的想法。这种不连贯的数据视图使数据管道变得脆弱且难以改变，从而使组织在面对变化时反应迟缓。

解决这个难题的方法就是 DataOps。

1、DataOps 是什么？

DataOps 是数据操作化（data operationalization）的缩写，是一种协作性的数据管理方法，它强调组织内部数据管道的沟通、集成和自动化。

与数据存储管理不同，DataOps 主要关注点的不是数据“存储”。它更关心的是“交付”，也就是让数据对所有的利益相关者来说都是现成的、可访问的和可用的。它的目标是为数据、数据模型和相关工件创建可预测的交付和变更管理，从而在整个组织和消费者之间更快地提供价值。

DataOps 通过采用技术来实现这一目标，将数据的设计、部署、管理和交付自动化，从而提高其使用和提供的价值。这样可以让所有使用数据的利益相关者都能很容易地访问数据，而且还可以加快数据分析的周期。

这样一来，DataOps 可以大大提高企业对市场变化的反应时间，让他们能够更快地应对挑战。

2、DataOps 所解决的挑战和问题

大数据最重要的承诺是快速、可靠的数据驱动的可操作业务洞察力，由于面临着组织、技术和人力（使用数据的人员）等方面众多的挑战，这些承诺仍未实现。DataOps 通过学习和实践敏捷、DevOps 和精益生产方法论来帮助克服这些挑战。

速度。现代组织依赖来自许多不同来源、不同形式的数据。清理、改进、然后使用这些数据可能是一个复杂和漫长的过程，以至于当最终从中产生洞察力时，它们与快速发展的业务环境已不再相关。DataOps 从根本上提高了从数据中获得洞察力的速度。

数据类型。有时候，组织收集到的数据可能是非结构化的格式，这让你很难从中获取洞察力。DataOps 使组织能够从其拥有的每个数据源中识别、收集和使用数据。

数据孤岛。DataOps 打破了组织内部的数据孤岛，并将所有数据集中在一起。与此同时，它构建了弹性系统，使每个需要访问数据的利益相关者都能获得自助服务。在组织内外发生变化时，这些系统也在不断发展，但是它们为“数据用户”提供了可预测的方式来寻找和使用他们所需的数据。

通过克服这些挑战，DataOps 使得 DataOps 团队能够为工程师、数据科学家、机器学习工程师甚是客户等每一个需要的人提供数据，并且比以前更快。简单来说，DataOps 可以带来以下好处：

数据利用率最大化。DataOps 为数据的所有“用户”解锁数据，不管是分析师、高管还是客户。可以实现数据交付的自动化，并在这一过程中让各个部门从数据中提取最大价值。这样做的结果是增加了竞争力，对变化的反应能力，以及更高的投资回报率。

在正确的时间获得正确的洞察力。大数据的一个普遍问题就是在错误的时间获得正确的洞察力，迟来的洞察力是没有用的。DataOps 可以快速地将数据提供给每一个需要的人，从而让他们能比以往更快地做出更明智的决策，使得组织能够快速发展，以适应市场的变化。

提高数据生产率。DataOps 使用自动化工具，以自助服务的形式交付数据。这样就消除了数据请求和数据访问之间的任何固有延迟，使所有团队可以快速地作出数据驱动的决策。DataOps 还使组织摆脱了手工数据管道变更管理流程。相反，对数据管道的所有更改都会简化并实现自动化，以提供快速、有针对性的更改。

针对结果优化的数据管道。DataOps 在数据管道中加入了一个反馈回路，它使各种数据消费者能够确定他们所需要的特定数据，并从这些数据中获得定制的洞察力。每个团队都可以利用这些洞察力来降低成本，发现新的机会，增加收入，并提高组织的盈利能力。

3、推进数字产业规范化

当前，我国数字经济快速发展，但很多企业尤其是传统企业在管理方式上相对滞后，这主要表现在企业在数据的质量管理和安全管理上还存在明显的缺陷。根据2021年企业数据治理的报告，企业设立专门的数据治理部门的比例还不到25%，异构问题妨碍了数据的共享和流通。

其中一个问题在于，数据产权界定不够清晰。 目前保护数据和数据库存的方式主要是通过知识产权和反不正当竞争法的途径，并没有一个很明确的产权上的界定，工业数据是否需要确权还存在争议。

“数据要素的产权界定，主要是指数据资源的拥有者对数据资源的权利，比如数据资源的归属权、使用权和收益权等，应该说在当前数据资源产权界定方面，全面的、明确的法律法规还需要进一步进行界定，数据资产的产权边界不清晰，缺乏相关的法律法规对它进行明确边界的确定，将进一步制约数据要素的进一步价值化和市场化发展。”中国互联网络信息中心主任曾宇表示。

近年来，中国互联网平台快速发展，其拥有的数据也呈现指数级增长，未来几年，伴随着后疫情时代在线应用快速发展，像在线办公、即时通信、网络购物、网络新闻、搜索引擎这样一些应用还将持续保持很高的利用率，同时传统企业将进一步加速向平台化发展，平台企业也会加速生态化发展，跨境贸易也将持续发展，也将产生海量的商业数据，怎样激活要素数据潜能也是非常重要的命题。

当前，数据标准也在推进之中。国内已经发布了关于工业数据的标准，但是这个标准被市场接受仍需要时间。此外，中国的物联网建设方面，不管是硬件设备还是软件的对外依赖度仍然较高，海外供应商间的标准也并不统一，这导致物联网所采集的数据缺乏统一标准。

2020年4月，中国出台《关于构建更加完善的要素市场化配置体制机制的意见》，肯定了数据要素市场化的配置方式，同时强调这种机制存在一定的空间。这份《意见》也标志着数据要素市场的市场配置有了明确思路。

“专就数据立法来说，我们是在世界上走得比较靠前的。世界上其他国家在这方面的法律实践，主要是依据过去已有一些法律来实施。”中国人民大学经济研究所联席所长、中国宏观经济论坛（CMF）联席主席，中诚信集团董事长毛振华表示。

在毛振华看来，数据技术大发展和互联网的发展有必然联系。过去对数据的认识较为狭窄，现在人们所有拥有的最基本的基因都可以界定为数据。关于数字方面技术本身的延展，我国也是走在世界前列，这和互联网推广、互联网经济特别是“互联网+”的发展有密切的关系。当前，我国有了数据的统计分类标准，这在全世界属于领先。

4、防止数字化被滥用

有利就有弊，在数字经济大力发展的同时，数据安全和隐私问题也浮上台面。

“一方面要大力发展数字经济，但不能以牺牲个人的信息保护和隐私，甚至包括数据的安全，在发展数字经济的时候不能走老路先污染后治理，一方面要促进数字经济的创新和发展，另一方面在发展的同时要加强对于个人隐私、个人信息保护和数据安全乃至国家数据安全的平衡立法的趋势。”清华大学法学院院长申卫星说。

我国目前已经实施了《数据安全法》，《个人信息保护法》也将在年底正式实施。

不过，刘小鲁表示，由于隐私问题和数据安全问题的复杂性，不可能对任何市场行为都用一个简单的规则进行规范。所以，隐私和安全规制主要是明确数据要素市场的基本红线，对于其他问题应该采取开放的态度，来充分发挥市场主体这种创新的作用。

“关于数据应用方面还大有探讨的空间。数据是一个资源，它作为原始数据就普遍存在现在的社会。数据在经过加工整理后又变成新的数据，它还有衍生品，这些原始数据和衍生数据怎么应用，哪些领域里面的应用是合法合规的，哪些应用是效率的，在效率和合法合规之间我们能够找到什么样的规律，这也是需要讨论的。”毛振华表示。

比如，外部性问题的复杂性。平衡数据的充分使用、数据相关主体权益和数据安全三者之间的关系没有办法兼顾。涉及到在个人信息的权利和平台数据权利、企业数据权利之间怎么进行分配问题。隐私和安全规制效果的不确定性。商业数据现在没有明确的产权界定，企业就会用商业秘密的形式来保护自己最有价值的信息，不利于社会的共享。

5、行业前景

从技术发展趋势和产业发展趋势两方面来看，未来大数据行业的前景依然非常广阔，而且在工业互联网的推动下，未来大数据会全面重塑传统产业领域的格局，很多企业会逐渐向生产数据的方向发展，这会促使大数据行业进入到一个新的发展阶段。

大数据行业目前虽然已经逐渐形成了一个产业链，包括数据采集、传输、存储、分析和应用，但是目前数据价值化的方式依然比较单一，而且应用场景也没有全面打开，尤其是数据的价值化出口，一直是大数据从业者比较头疼的问题，而这些问题在工业互联网时代将有更多的解决方案。

从技术成熟度来看，虽然当前大数据技术体系已经趋于成熟了，但是应用大数据的场景并没有成熟，或者说目前尚处在发展的初期，大量的大数据应用出口依然是非智能终端，这在很大程度上限制了大数据的价值，而随着人工智能产品开始逐渐落地应用，这一问题将从根本上得到解决，所以大数据的发展也会推动人工智能产业的发展。

结合大数据、人工智能等技术的应用现状，未来较长一段时间内，产业领域对于大数据技术的需要会处于稳步上升期，所以目前开始学习大数据技术，或者进入大数据领域发展，依然是不错的选择。

来源：华夏时报，InfoQ，IT人刘俊明