更快、更高效、更经济地训练机器的需求是当务之急。依赖机器学习的人工智能技术具有推动商业和造福社会的无限潜力。训练的渐进式改进将带来无法估量的回报，只要我们能让机器充满孩子般的好奇心，鼓励它们更自然、更直观、更有效地学习。

与许多企业和学术机构一样，使用算法和神经网络模型逐步提高计算机系统的性能。

使用他们已经学到的东西，可以通过学习构建模块立即“获得”。但在技术方面，每个系统都是从头开始训练的，针对单个任务或单个数据集。让机器更自然地学习的一种方法是帮助他们使用生成对抗网络 (GAN) 等方法从有限的数据中学习。这个想法是从你自己的训练集中生成数据，而不是进入现实世界。

“对抗性”来自将一个神经网络与另一个神经网络进行对抗以生成新的合成数据的过程。子集包括合成数据渲染，使用游戏引擎或计算机图形来渲染有用的数据。另一种方法，领域适应，涉及可转移的知识，例如，使用您在冬季收集的夏季数据，第三个小样本学习就是从有限数量的样本中进行预测。

多任务是一种引人入胜的任务，它利用共性和差异来同时解决多个任务。尽管机器学习主要是有监督的，带有输入和目标配对标签，但在无监督、半监督和自监督学习方面也取得了进展，这就是在没有标记所有数据的情况下学习。

聚类就是一个很好的例子：算法可能会将事物聚类成具有相似性的组，这些组可能会或可能不会被标记，但随后对集群的检查将揭示系统的想法。

transformer 的出现与“学会学习”元概念有着明显的相似之处。大多数神经网络算法都是专门为执行一项工作而设计的。在这里，谈论的是一种可以调整并转向不同任务的架构，类似于机器利用学习构建块的概念。

Transformer 最初使用自注意力机制作为自然语言处理中机器翻译的构建块。但现在它被应用于其他任务，如图像识别和 3D 点云理解。这是令人兴奋的、突破性的东西。

没有解释所有的复杂性，本质上它颠覆了传统的数据优先方法，这个想法是从问题开始，然后创建您需要的数据集。