自我监督学习（SSL）是一种ML技术，允许计算机使用观察到的输入预测未知输入。自监督学习的一个基本目标是通过编程将无监督学习模型转化为有监督学习模型。它通过构建培训前深度学习系统来实现这一目标，该系统可以学习填补缺失的知识。

近年来，自监督学习（SSL）算法与标准监督学习（SL）算法在解决视觉问题方面的性能差距不断缩小。

苹果公司研究人员进行的一项新研究调查了自我监督方法是否能学习相似的视觉表征。本研究揭示了对比SSL算法（SimCLR）和SL在通用模型架构上学习到的视觉表示模式之间的异同。

SimCLR是视觉表征对比学习的基本框架。它使用对比损失来学习其表示，以最大化相同数据的多个增强视图之间的一致性。

研究人员使用中心核对齐（CKA）作为相似性度量来比较神经元表示空间，其分布性质、可能的错位和高维性的差别。

在他们的评估试验中，团队对每个模型使用了一个ResNet-50（R50）主干网。他们最初使用CKA调查使用SimCLR训练的R50上网络层的内部表示相似性。然后，在学习方法中绘制奇偶层CKA矩阵，以比较SimCLR和SL创建的代表性结构。

根据SimCLR的增强不变性目标，研究人员研究了两个网络层中发生的情况。他们通过绘制表示之间的CKA值来观察每一层的不变性程度。然后，他们演示了不同SimCLR和SL网络层中类表示和学习表示的CKA相似性。

研究的主要结果如下：

尽管残差后表示在不同的方法中是相似的，但残差（块内部）表示不是；通过解决不同的问题，可以恢复类似的结构。

剩余层的初始表示具有可比性，这表明它们是一个共享的基本体集合。

在最后的几层中，SimCLR学习增广不变性，SL适合类结构，这些方法与它们不同的目标有很强的一致性。

虽然SL不隐式学习增广不变性，但它确实适合类结构并诱导线性可分性。

由于表征结构在最后的层中变化很大，SimCLR的性能依赖于类信息的中间表征，而不是SL和SimCLR目标的学习解决方案之间的隐含结构一致性。

该研究证明了CKA比较学习方法的能力，并揭示了中间表征的相似性，而不是最终表征结构的相似性，使SimCLR能够实现其惊人的结果。研究人员希望他们的发现能够显示学习到的中间表征的重要性，并为未来的辅助任务设计研究和技术提供重要的见解。