杜克大学的计算机工程师和放射科医生已经开发了一个人工智能平台，用于分析乳房X光扫描中的潜在癌变，以确定病人是否应该接受有创活检。但与许多前辈不同的是，这种算法是可解释的，这意味着它向医生展示了它是如何得出结论的。

研究人员训练人工智能定位和评估病变，就像训练真正的放射科医生一样，而不是让它自由发展自己的程序，这使它比其 "黑匣子 "同行具有若干优势。它可以成为一个有用的培训平台，教学生如何阅读乳房X光检查图像。它还可以帮助世界上人口稀少地区的医生，这些医生不经常阅读乳腺摄影扫描图像，从而做出更好的医疗保健决定。

这些结果于12月15日在线发表在《自然-机器智能》杂志上。

杜克大学放射学教授Joseph Lo说："如果计算机要帮助做出重要的医疗决定，医生需要相信人工智能的结论是建立在有意义的基础上，我们需要的算法不仅能工作，而且能解释自己，并展示它们的结论所依据的例子。这样一来，无论医生是否同意结果，人工智能都有助于做出更好的决定。"

读取医学图像的人工智能工程是一个巨大的产业。已经有数千种独立的算法，美国食品和药物管理局已经批准了其中的100多种用于临床。然而，无论是阅读MRI、CT还是乳房X光扫描，它们中很少有使用超过1000张图像的验证数据集或包含人口信息的。这种信息的匮乏，加上最近几个著名例子的失败，导致许多医生质疑在高风险的医疗决策中使用人工智能。

在一个例子中，一个人工智能模型甚至在研究人员用来自不同设施、使用不同设备的图像对其进行训练时也失败了。人工智能不是只关注感兴趣的病变，而是学会利用设备本身带来的微妙差异来识别来自癌症病房的图像，并赋予这些病变更高的癌变概率。正如人们所期望的那样，该人工智能并没有很好地转移到使用不同设备的其他医院。但是，由于没有人知道该算法在做决定时看的是什么，没有人知道它在现实世界的应用中注定要失败。

"我们的想法是建立一个系统，说一个潜在的癌症病变的这个特定部分看起来很像我以前见过的这个其他病变，"杜克大学计算机科学博士候选人、该研究的第一作者Alina Barnett说。"如果没有这些明确的细节，医疗从业者将失去时间和对系统的信心，如果没有办法理解为什么它有时会犯错。"

杜克大学电子和计算机工程及计算机科学教授辛西娅-鲁丁（Cynthia Rudin）将新人工智能平台的过程比作房地产评估师的过程。在该领域占主导地位的黑匣子模型中，评估师会在没有任何解释的情况下提供一个房屋价格。在一个包括所谓的 "显著性地图 "的模型中，评估师可能会指出房屋的屋顶和后院是其定价决定的关键因素，但除此之外，它不会提供任何细节。

研究人员用取自杜克大学卫生系统484名患者的1136张图像训练新的人工智能。

他们首先教人工智能找到有关的可疑病变，并忽略所有的健康组织和其他不相关的数据。然后，他们聘请放射科医生仔细标记图像，教人工智能关注病变的边缘，即潜在肿瘤与周围健康组织相遇的地方，并将这些边缘与已知癌性和良性结果的图像中的边缘进行比较。

放射线或模糊的边缘，在医学上被称为肿块边缘，是乳腺肿瘤癌变的最佳预测因素，也是放射科医生首先寻找的东西。这是因为癌细胞的复制和扩张速度非常快，在乳房X光检查中，并不是所有正在发展的肿瘤的边缘都容易看到。

这是训练人工智能如何看待医学图像的独特方式，其他人工智能不是在试图模仿放射科医生；他们想出了自己的方法来回答问题，这些方法往往没有帮助，或者在某些情况下，依赖于有缺陷的推理过程。

训练完成后，研究人员对人工智能进行了测试。虽然它没有胜过人类放射学家，但它的表现与其他黑盒计算机模型一样好。当新的人工智能出错时，与它一起工作的人将能够认识到它是错误的，以及它为什么犯错。

展望未来，该团队正在努力增加其他物理特征，供人工智能在做出决定时考虑，比如病变的形状，这是放射科医生学会看的第二个特征。Rudin和Lo最近还获得了杜克大学MEDx高风险高影响奖，以继续开发该算法，并进行放射科医生读者研究，看看它是否有助于临床表现和/或信心。

当研究人员第一次开始将人工智能应用于医学图像时，有很多人感到兴奋，也许计算机将能够看到人们无法看到的东西或找出一些东西，在一些罕见的情况下，情况可能是这样的，但在大多数情况下可能不是这样。因此，我们最好确保作为人类的我们了解计算机使用了哪些信息作为其决策的依据。