在过去10年，随着大多数企业开始接受数字化变革，数据科学家和数据工程师有着不同的职业发展，并且显然都有各自特定的服务范围。企业在业务运营中不断生成数据。而每个事件都是企业功能的快照，例如收入、损失、第三方合作伙伴关系以及收到的货物等。但如果不探索和分析数据，就不会获得任何见解。数据工程的目的是帮助处理这一过程并使其对数据拥有者可用。本文将探讨数据工程的定义、数据工程师的技能、工作和职责，以及数据工程的未来发展。

在数据世界中，数据科学家对他们所接触的信息或数据进行比较。大多数企业将其信息或数据存储在各种各样的数据集和数据格式中。这就是数据工程发挥重要作用的地方。简单地说，数据工程就是由数据工程师来组织和设计数据。他们构建数据管道来更改和组织信息并使其有用。数据工程与数据科学同样重要。然而，数据工程需要认识到如何获得激励形式的数据，例如从A点移动到B点而不受污染的数据。

“数据工程”这个名字代表了这样一项工作，它不再使用传统的ETL(抽取、转换、加载)设备，而是建立了自己的工具来处理不断扩大的信息或数据量。随着大数据的发展，数据工程开始描绘一种以数据为主的工程：数据框架、数据仓库、数据挖掘等等。

在知道什么是数据工程之后，再了解一下数据工程师的技能和工具。

在数据工程中，数据工程师使用特定工具来处理数据。但处理每个框架都存在明显的困难。他们应该考虑信息展示、存放、确认和编码的方式。这些群体同样应该理解获取和控制数据的最有效方法。数据工程考虑从开始到结束测量“数据管道”，每个管道都有一个或多个来源。而在管道内部，数据可能会经历几个阶段的变化、批准、改进、缩减。数据工程师使用不同类型的工具制作这些管道，例如：

以上已经提到了“数据工程师”这个术语，人们一定在想：“数据工程师是做什么的?”

数据科学家的能力取决于他们可以访问的数据。数据通常以多种格式存储，例如数据库和文本文件。数据工程师将数据转换成数据科学家可以使用的格式，并为此构建管道。数据工程师和数据科学家一样重要，但他们并不那么显眼，因为他们离最终产品更远。数据工程师需要了解如何开展工作，以及在不篡改的情况下将数据从A点移动到B点的工程技能。

数据工程师将处理数据以便对其进行分析。他们分析数据集并开发算法以使原始数据对企业更有用。数据工程师需要具备许多技术技能，包括对SQL数据库和多种编程语言的深刻理解。但是数据工程师还必须学习如何与不同部门进行沟通，以便他们能够从大数据集了解企业领导者的需求。

数据工程师通常需要了解企业或客户的目标，以构建更容易访问原始数据的算法。对于处理大型复杂数据集的企业来说，在处理数据时必须使业务目标保持一致。

(1)数据工程师是否会编写代码?

众所周知，只需具备开发人员的强大技能即可担任数据工程师这个工作角色。数据工程师需要编写脚本和一些代码。像数据科学家一样，数据工程师也需要编写代码。他们具有高度的分析能力，并对数据可视化感兴趣。当数据工程师使用数据管道时，他们需要编写代码。因此，编写代码是成为数据工程师的一项重要技能。

(2)数据工程师的职责

数据工程师与数据分析师、数据科学家、业务领导者和系统架构师合作，了解他们的具体要求。数据工程师的职责包括：

随着技术的飞速发展，数据工程领域正在经历一场彻底的变革。当前数据工程的发展受到物联网(IoT)、无服务器计算、混合云、人工智能和机器学习(ML)的影响。

大数据的广泛应用导致数据工程师的诞生。然而，数据工程在过去八年发生了巨大的变化，这要归功于数据科学工具的快速自动化。

现代业务分析平台配备了全自动或半自动化工具，可以收集、准备和清理数据以供数据科学家研究。如今，数据科学家不需要像以前那样依赖数据工程师来处理信息管道。

随着从面向批处理的数据移动和处理转向实时数据移动和处理，实时数据管道和实时数据处理系统已经发生了重大转变。

数据仓库在处理数据集市、数据湖或简单数据集方面具有极大的灵活性，最近变得非常流行。数据工程的新趋势阐明了数据集流创新如何建立高度可扩展的实时业务分析。

随着未来事物信息设计的创新转变，以下领域将会：

最近数据工程技术的另一个重大转变是“按原样”查看数据，而不是担心数据的存储方式和位置。

数据工程和数据科学是相辅相成的，而数据工程师将确保数据科学家能够可靠地查看信息。

数据科学是一个广泛而有更多技能的研究领域，其中包括数学、统计学、计算机科学、信息科学和商业领域的数据。它的核心是通过利用逻辑工具、策略、方法和计算从庞大的数据集中分离重要的示例和知识点。数据科学的中心部分科学融合了大数据和机器学习等技术。

此外，他们还使用诸如R、Python和SAS之类的工具来有效地检查数据。他们期望数据可以随时使用并在一个地方组合。他们使用图表、图表和表示设备来传达他们的经验。

数据工程师使用SQL和Python等工具为数据科学家准备好数据。数据工程师与数据科学家开展合作，以了解他们对任务的特定要求。他们构建数据管道，以获取和更改检查所需的数据。这些数据管道应该是为执行和坚定不移的质量而设计的，这需要对编程最佳实践有扎实的理解。而在网络上有许多可用资源，他们应该为处理大量数据集和请求服务等级协议(SLA)的执行和适应性制定计划。

数据工程与管理规模和熟练程度密切相关。因此，数据工程师应该经常更新他们的能力和技能，以促进利用数据分析框架的方式。由于收集的信息十分广泛，可以看到数据工程师与数据库管理员、数据科学家和数据架构师共同努力。

如今对于数据工程师的需求正在迅速增长。如果应聘者在构建和调整巨大范围信息框架中具有独到的见解，那么数据工程师可能是最适合他的职业。

原文标题：What Is Data Engineering? Skills and Tools Required，作者：Billy  Peterson

【51CTO译稿，合作站点转载请注明原文译者和出处】

【编辑推荐】

来源：51CTO李睿