人工智能（AI）推动了手术模拟器的发展，正日益成为丰富外科医生培训经验的流行工具，在提高手术模拟的质量方面发挥着不可或缺的作用。现代人工智能技术的应用不仅可以支持模拟器为用户提供个性化的反馈，同时也可以实现病人解剖结构的自动可视化，提供沉浸式手术体验。

近年来，创新医疗器械拿下医疗AI“三类证”的消息密集发布。百度、腾讯得到密切关注，东软的AI脑缺血诊断软件率先“持证上岗”。

2021年11月，工信部、药监局组织开展人工智能医疗器械创新任务揭榜工作，聚焦智能辅助诊断产品、智能辅助治疗产品、医学人工智能数据库等8类揭榜任务，征集并遴选一批具备较强创新能力的单位集中攻关，于日前公布了入围单位。

今年8月，科技部等6部门印发《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》的通知，明确在医疗领域积极探索医疗影像智能辅助诊断、临床诊疗辅助决策支持、医用机器人、互联网医院、智能医疗设备管理、智慧医院、智能公共卫生服务等场景。

接下来，小编将结合一篇由来自英国诺维奇诺福克和诺维奇大学等机构的作者发表在Frontiers in Medical Technology期刊上的综述，回顾性地描述了人工智能技术辅助手术模拟技术的现状、挑战和前景。

01

人工智能在手术模拟评估中的应用

人工智能可以通过评估性能并向用户提供个性化反馈来改进手术训练模拟器。例如，蒙特利尔麦吉尔大学的一个神经外科团队开发了一种机器学习（ML）算法，在执行基于VR的半椎体切除术或脑肿瘤切除任务时，对参与者的技能水平进行分类。近期该团队还开发了一种虚拟手术助手（VOA），其实质是一个开源的基于AI的软件，除了确定手术技能水平外，还提供与专家精确性能基准有关的个性化反馈。

然而，像任何形式的新兴技术一样，人工智能驱动的绩效评估和反馈生成仍然不完善，存在许多限制因素。一项系统综述探讨了几种不同的机器学习技术来评估手术表现的能力，指出此类评估软件的高准确性是很有希望的，同时划定了这项技术的几个主要挑战和限制：因为现实生活中的手术环境非常复杂，模拟台式任务的手术技能评估可能无法与受训者在手术室中的表现准确相关。此外，人工智能算法需要根据有效的评估标准来评估学员的表现，而且机器学习算法通常都需要大量的手术数据来进行训练，完善模型。

这些潜在挑战的主要解决方案包括：制定一个由权威外科医生领导的共识声明，概述由机器算法评估的手术技术的核心要素，并通过跨机构的开源计划来促进手术数据的交换，丰富算法训练数据。

有趣的是，在对 FDA/CE 清单审查时，并未发现任何经批准的 AI 支持的软件。可以想象的是，此类软件可能已在市场上销售，但由于它们不直接与患者互动，因此尚未通过监管程序进行评估。

02

人工智能在手术可视化中的应用

三维可视化已经成为所有外科专业的外科模拟主要发展，从神经外科、骨科到颌面外科、塑料和普通外科。

这种对 3D 术前计划的普遍需求及其自 1980 年代以来的稳步发展证明了在减少手术时间、失血量、住院时间和提高患者生存率方面的具有巨大优势。通过对 FDA/CE 清单的审查确定了 11 种支持 AI 的可视化设备，需要注意的是，这份清单不包括没有明显 AI 应用的可视化技术。

从二维图像创建三维模拟的卷积神经网络（CNN）算法已成为了最广泛接受的技术。人工智能在促进先进的可视化模式，如3D打印、虚拟现实（VR）模拟和扩展现实（XR）环境方面起着至关重要的作用。

3D 打印模拟器已被证明有助于术前规划、改善手术结果并缩短手术时间。人工智能消除了实施 3D 打印的最大障碍——对 3D 打印过程和基于计算机的设计的专业知识的需求。人工智能算法可以有效地处理预制模型、通过切片器转换、检测和纠正任何错误以及打印所需的大量数据。

此外，采用实时适应的 AI 驱动制造为 3D 打印复制体内组织的挑战提供了解决方案。AI 技术对于支持 VR 环境和自动化工作流程至关重要。

DICOM to Print (D2P) 和 MEDIP PRO 等软件可生成即时 3D 打印和 VR 渲染选项。AI 有效地用于 VR 环境的分割和解剖注释，更重要的是，可以处理促进用户交互所需的用户输入。此外，人工智能需要支持 XR 环境——最实用的形式和手术模拟的圣杯。结合计算机视觉技术，基于深度学习的对象检测可实现动态图像识别 ，这种复杂反馈处理弥合了 3D 全息投影中虚拟世界与现实世界之间的不匹配。

03

人工智能成为医生工作的好搭档

聊到 AI 人工智能在医疗领域里面能发挥什么样的作用，让我们先看一下我们医疗行业现在面临的一些难题： 中国是一个大国，为数以亿计的群众提供健康保障是非常繁重的工作，因为财富累积和地域差异，出现了一个问题，就是医疗资源分配不均衡，目前中国 80% 的医疗资源集中在城市，而经济实力较强的家庭更有能力支付更优质的医疗。虽然每年都会有专家和医疗团队到基层去进行医疗扶贫工作，但久旱逢甘霖不是长远之计，可持续发展才能为基层群众提供有质量保证的医疗。而回归医疗的本质，去解决围绕着临床的方方面面问题——从看病难，医疗资源分配不均，到基层医生提高诊疗能力，慢病管理等，人工智能有着天然的优势。

人工智能现在已经能在一些方面实现能够规模化、批量化地提升医疗机构的诊疗能力。在国外，2017 年 Nature 上发表了一篇文章，斯坦福大学的 Andre Esteva 团队通过 129 450 例皮肤病的临床图像对 AI 进行训练皮肤癌一些特征性的皮肤表现。最终通过训练后的 AI 诊断皮肤癌的能力与皮肤科专家诊断结果吻合度非常高，几乎可以和皮肤科医生相媲美 。

04

人工智能手术模拟的技术局限性

当前用于手术模拟的 AI 框架存在一些技术局限。

首先，前述提到的虚拟手术助手VOA强调了使用线性机器算法的缺点：由于高正面评分指标过度补偿其他负面评分指标，存在错误分类的情况。此外，近期 AI 临床模型在测量诸如“仪器处理”等行为的主观组合时表现出困难。

如下图所示，分割和解剖标记是 AI 手术模拟中的主要应用，然而这些算法的通用性仍然是一个挑战。尽管分割已在小型临床研究中证明了其有效性，但其准确性尚未达到完美。有研究报告称，他们的算法无法识别某些结构，例如复杂的脉管系统或某些类型的肿瘤，且准确性可能在很大程度上取决于不同成像方式的保真度。此外，为了将 AI 算法训练到绝对精确并具有普遍性，需要专家构建全面的数据集，这些数据集需要大量注释和解剖结构分割。然而这种手动注释的过程繁琐且资源密集。因此，这种方法很难转化为临床实践。

可视化领域的其他技术挑战归因于技术设备的内在限制，例如由于感官输入和 VR 之间的延迟，通常会出现 VR 病。为了减少这种延迟，CNN 模型被用来通过预渲染后续场景和预测未来帧来 改进注视跟踪，不过很少有人提出基于人工智能的解决方案来克服这些挑战。

05

经济成本负担

目前，在医疗保健领域使用基于人工智能的模拟技术需要耗费较大的经济成本。传统的外科培训和术前计划主要依靠较为廉价的方式，如近距离教学和小组讨论。基于人工智能的模拟器价格很少公开披露，FDA/CE数据库中涉及到的公司都未提供其产品的公开价格信息，而且质量、能力和使用范围的不同也会导致价格的差异。据估计，配备一个模拟实验室的价格可以从十万美元到几百万美元不等，特别是AI算法还需要定期更新以确保最佳性能和可靠性。

因此，了解人工智能驱动的外科模拟器的临床效益是极为重要的。有趣的是，大多数已发表的研究还没有报告外科模拟器与外科教育领域的传统方法相比的明显优越性。例如，Madan等人报告说，用一个无生命的盒子代替虚拟现实训练器并不会降低腹腔镜技能的获得率和水平。不过在用于术前计划的手术可视化方面，有一些仍较有限的证据表明人工智能驱动的模拟器与传统手术技术相比具有优势。

另外，重要的是探索是否可以在降低 AI 驱动的手术模拟器的成本的同时，保持它们在患者护理中提供的价值。随着市场竞争的加剧和该技术的广泛采用，可以做出模拟器的价格将保持在合理范围内的合理预期。

06

市场监管挑战

目前，所有已批准的基于人工智能的医疗设备和算法的清晰概述并不存在。FDA是少有的策划这些设备的包容性数据库的组织。此外其他多个监管机构，如英国药品和保健品管理局（MHRA），正在制定监管指南，以确保人工智能驱动的设备和软件的安全性和有效性方面取得进展。这些努力是具有价值的，但国际管理机构提出一个准则也是至关重要的，如国际医疗器械监管机构论坛（IMDRF）。

虽然反馈软件不直接与病人互动，但培训的质量会间接影响到病人护理。强调监管批准的重要性有几个原因：现有产品经常被夸大或虚假营销为人工智能驱动，以提高销量；此外，即使是获得批准的设备，其设备中 AI 的使用范围或功能也只是模糊地传达给公众和用户；最后，由于术前模拟器保存和分析重要的患者信息，它们需要严格遵守既定的医疗设备数据安全指南。

针对上述问题，该综述也提出了一些人工智能驱动的手术模拟器的推荐和建议。

文章来源： MedRobot，国荣科技智慧城市，大健康派