编者按：2011年，马克•安德森写了一篇著名的文章：软件正在吞噬世界。如今，全球正被其中的一种特殊的软件所吞噬：深度学习。这种软件使机器能够处理一些在几年前还被认为是计算机无法处理的任务，包括驾驶汽车和医疗诊断。我们准备在这个名单上再添一项惊人的壮举——识别伪造画作。计算机能够帮助专家鉴定艺术品，这是斯蒂芬·弗兰克和安德莉亚·弗兰克夫妇努力的结果。他们开发了一种卷积神经网络，可以评估一幅画，甚至是一幅画的一部分，是由目标画家完成的概率。他们最近用这种神经网络来评估列奥纳多·达·芬奇的《救世主》的真假。2017年，这幅画在佳士得拍卖会上以4.5亿美元的价格成交，成为有史以来最昂贵的画作。
在显微镜载片上，粉红色部分表示神经网络认为的可能是病变的组织。图片来源：史蒂文·弗兰克
使用CNN来分析艺术品的挑战也困扰着医学图像的自动化分析，尤其是病理学家用来分析癌症和其他疾病迹象的大量组织样本的全幻灯片图像(WSIs)。这些图像可能有数十亿像素大小，通常需要在功能强大的工作站上观看，这些工作站可能直接由幻灯片扫描仪集成。目前，人工智能的应用还需要向全尺寸图像努力，研发更专业的硬件，如强大的图形处理单元来进行处理分析。这些努力也受到“黑匣子”问题的影响：如果计算机只是对切片进行分类，病理学家们该如何确定它是否找对了地方？
相对于一个巨大的WSI而言，CNN能分析的最大的切片的大小也是远远不够的。病理学家该如何确定他们可以准确捕捉到那些对诊断至关重要的解剖结构?肿瘤细胞可以熟练地伪装自己，疾病的线索可能潜伏在它们的外部，其形式可能是周围组织的组成变化或附近免疫细胞异常，因此判断性特征并不总是可用于判断的。
图像熵可能会有所帮助。图像缩放和切片大小可以作为“旋钮”，不断调整直到达到分类精度的峰值。训练和测试一系列图像和切片大小，就像我们对绘画作品所做的那样，可以让CNN区分病变和正常组织，甚至是各种形式的疾病。虽然我们已经在用图像熵来确定最具判断力的切片，并用他们来训练我们的神经网络，但在医学领域，以肿瘤为例，以这种方式识别的切片甚至可以在CNN分析之前，以组合的方式提供相当不错的判断。——S.J.F.
CNN到底是如何找到关键细节的，它在做判断时“看到”了什么？这些都不好确定。CNN的business端(实际上是它的中间部分)是一系列卷积层，逐步将图像消化成细节，然后以某种不可思议的方式进行分类。这一黑箱特性是人工神经网络面临的一个众所周知的挑战，尤其是那些分析图像的神经网络。我们所知道的是，当对大小合适的切片进行训练时，CNN可以可靠地估计出与每个切片对应的画布区域为真迹的概率，我们可以根据不同切片的概率将这幅画作为一个整体进行分类——最简单的方法是找到它们的总体平均值。
为了更精细地计算每一个像素为真迹的概率，我们可以计算包含这个像素的所有切片的平均真迹概率，以确定该像素最终的真迹概率，然后得到一幅概率图，显示不同的像素有多大的几率是出自目标画家之手的。
画布上的概率分布具有指导意义，特别是对于已知(或怀疑)曾与助手合作的艺术家，或那些画作被损坏后又被修复的艺术家。例如，伦勃朗的妻子萨斯奇亚·范·尤伦伯格的肖像画在我们的概率图中就有一些令人生疑的地方，尤其是脸部和背景。这与研究伦勃朗的学者们观点一致，他们认为这些区域后来被伦勃朗以外的人覆盖过。
尽管这些发现具有启发性，但那些被计算机划分为真迹概率低的区域并不代表一定就不是真迹，因为这些区域可能是艺术家大胆的、不符合平时风格的实验的结果，甚至有可能只是因为那天艺术家的心情不太好，或者是简单的分类错误。毕竟，没有一个系统是完美的。
我们对自己的系统进行了测试，对伦勃朗和梵高的10幅作品进行了评估，专家们一直在激烈争论这些作品的归属问题。不过，我们的分类标准符合当前学术界的共识。因此，我们有勇气迎接更大的挑战----评估《救世主》。我们认为这项任务极具挑战性的原因是目前确定属于达·芬奇的画作太少了(不到20幅)。
最终，我们还是得到了一些切片，并生成了一张概率图。我们的研究结果认为这幅画的背景和祝福之手可能并不是达芬奇画的，这与这幅画经历过大规模的修复的说法是一致的，其中包括对背景的彻底重绘。同时，专家们在谁画了祝福之手这个问题上存在严重分歧。
2017年花4.5亿美元买下《救世主》的买家是匿名的，这幅画目前下落不明。但有报道称，它现在在沙特王储穆罕默德·本·萨勒曼的超级游艇“宁静”号上。图片来源：颜孟德/法新社盖蒂图片社
在我们的方法建立了一定的可信度之后，我们的野心也逐渐增长。我们系统检测出来的结果与目前学界普遍认为的结果之间差距较大的是一幅名为《戴金色头盔的人》(the Man With the Golden Helmet)的画作。长期以来，这幅画一直受到人们的喜爱，因为它是伦勃朗的一幅特别引人注目的作品。1985年，它的所有者柏林国家博物馆(Staatliche Museum)不再认为这幅画出于伦勃朗之手，因为博物馆的学者们认为这幅画在绘画处理上和伦勃朗已知的工作方式很不符。
这幅画现在被认为是一位不知名的“伦勃朗圈子”画家的作品，在公众的心目中，它的光彩已经褪色，只剩下那个忧郁的士兵戴着的那顶壮观的头盔还在闪闪发光。但我们的CNN系统强烈认为这幅画出自伦勃朗之手。此外，我们的整体研究结果提醒我们不要将伦勃朗的作品归因在精细的表面特征上，因为将CNN的分析范围缩小到这些特征的做法会使得整个预测结果跟瞎猜的一样。我们希望，有一天，画中的这名士兵可以重拾自己的荣耀。
图像熵是一个多功能的助手。它可以识别出复杂图像中最能代表整体的部分，使即使是最大的图像——包括医学图像(参见上文)——也能接受计算机分析和分类。随着训练的简化和对大数据集的需求的减少，小型CNN也可以发挥更大的作用。
史蒂文和安德烈·弗兰克 图片来源：IEEE
译者：扣人心
参与评论
登录后参与讨论 0/1000