计算机视觉是使用计算机,模仿人类视觉系统的科学,让计算机拥有类似人类提取、理解、处理、分析图像以及图像序列的能力,根据解决方案的不同,计算机视觉可以分为计算机成像学、图像理解、三维视觉、动态视觉和视频编解码五大类,也是人工智能应用最早、技术体系成熟的AI细分领域之一。

近年来的技术发展根据仿生学仿造人眼视网膜的工作原理,视频采集设备逐步具备信息响应速度快、冗余数据过滤、功耗低、动态范围大等功能,功能更加接近人眼,而众所周知,人眼感知信息主要从:空间、色彩、形状、运动几个维度进行,随着AI的算法和和光学、电子元器件的优化,计算机视觉技术已经初步具备人眼工作能力,初步具有人眼感知距离、形状特征、识别目标、空间位置、运动信息等复杂的视觉感知能力,从而为人工智能技术赋能做好辅助工作。

计算机视觉技术也因为率先取得较大突破,且应用场景广泛明确,在人工智能技术中占据重要地位,市场广阔,本文就深入梳理计算机视觉在智慧城市、金融、互联网、新零售、智慧交通、智慧医疗、智慧工业等诸多领域的技术原理与广泛应用。

计算机的视觉感知

计算机视觉简单来说就是让计算机有视觉的感知,和碳基生命(我们)一样的是,我们的大脑也是依靠五官和肢体皮肤进行外界感知,数以亿计的神经元就像电脑缆线一样传输各种信息,随即大脑进行相应的反应,比如听到好听的音乐,看到优美的环境,大脑会愉悦;被虫子咬一口会痛会痒,从而手掌去驱赶蚊虫,驱赶蚊虫总要看到蚊虫在哪,视觉是和人类如影随形的。

而计算机感受外界主要依靠外挂插件进行,就像电脑、手机需要键盘、鼠标、触摸屏进行操作一样,信息的输入、处理、输出是计算机的主要功能,计算机视觉就是给计算机提供一双眼睛,并依靠人工智能的算法去教会计算机如何使用眼睛获取有用信息。通过视觉观察、理解世界,具有自主适应环境的能力,识别(检索,跨模态)、检测、分割、跟踪列算法的控制,简而言之计算机视觉是一种视频的信息输入,能够让搭载AI算法的计算机能够半自主或全自主工作,具有感知、决策、执行等基本特征,可以辅助人类提高工作效率与质量,服务人类生活,扩大或延伸人的活动及能力范围。

其原理主要离不开成像原理、数字化、图像处理到提取感知信息及信息处理,其中成像原理从小孔成像–>帧采样–>数字图像–>计算机处理–>让计算机获取感知视频信息,也就是说计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段,着重于一幅或多幅图像的计算机分析。计算机视觉技术工程化,能够自动获取和分析特定图像,以控制相应的行为。

计算机视觉包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的计算机视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。核心算法也是图像处理提取信息,计算机视觉不管硬件怎么搭建特定功能的实现,主要还是图像感知信息的提取算法。

图像处理技术

图像处理是机器视觉检测的核心。在使用机器视觉对产品进行检测时需要通过以下几个环节,来实现产品图像的处理。

(1)图像采集

图像采集就是从工作现场获取场景图像的过程,是机器视觉的第一步,采集工具大多为CCD或CMOS照相机或摄像机。照相机采集的是单幅的图像,摄像机可以采集连续的现场图像。就一幅图像而言,它实际上是三维场景在二维图像平面上的投影,图像中某一点的彩色(亮度和色度)是场景中对应点彩色的反映。这就是我们可以用采集图像来替代真实场景的根本依据所在。

如果相机是模拟信号输出,需要将模拟图像信号数字化后送给计算机(包括嵌入式系统)处理。现在大部分相机都可直接输出数字图像信号,可以免除模数转换这一步骤。不仅如此,现在相机的数字输出接口也是标准化的,如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等,可以直接送入计算机进行处理,以免除在图像输出和计算机之间加接一块图像采集卡的麻烦。后续的图像处理工作往往是由计算机或嵌入式系统以软件的方式进行。

(2)图像预处理

对于采集到的数字化的现场图像,由于受到设备和环境因素的影响,往往会受到不同程度的干扰,如噪声、几何形变、彩色失调等,都会妨碍接下来的处理环节。为此,必须对采集图像进行预处理。常见的预处理包括噪声消除、几何校正、直方图均衡等处理。

通常使用时域或频域滤波的方法来去除图像中的噪声;采用几何变换的办法来校正图像的几何失真;采用直方图均衡、同态滤波等方法来减轻图像的彩色偏离。总之,通过这一系列的图像预处理技术,对采集图像进行“加工”,为体机器视觉应用提供“更好”、“更有用”的图像。

(3)图像分割

图像分割就是按照应用要求,把图像分成各具特征的区域,从中提取出感兴趣目标。在图像中常见的特征有灰度、彩色、纹理、边缘、角点等。例如,对汽车装配流水线图像进行分割,分成背景区域和工件区域,提供给后续处理单元对工件安装部分的处理。

图像分割多年来一直是图像处理中的难题,至今已有种类繁多的分割算法,但是效果往往并不理想。近来,人们利用基于神经网络的深度学习方法进行图像分割,其性能胜过传统算法。

(4)目标识别和分类

在制造或安防等行业,机器视觉都离不开对输入图像的目标进行识别和分类处理,以便在此基础上完成后续的判断和操作。识别和分类技术有很多相同的地方,常常在目标识别完成后,目标的类别也就明确了。近来的图像识别技术正在跨越传统方法,形成以神经网络为主流的智能化图像识别方法,如卷积神经网络(CNN)、回归神经网络(RNN)等一类性能优越的方法。

(5)目标定位和测量

在智能制造中,最常见的工作就是对目标工件进行安装,但是在安装前往往需要先对目标进行定位,安装后还需对目标进行测量。安装和测量都需要保持较高的精度和速度,如毫米级精度(甚至更小),毫秒级速度。这种高精度、高速度的定位和测量,依靠通常的机械或人工的方法是难以办到的。在机器视觉中,采用图像处理的办法,对安装现场图像进行处理,按照目标和图像之间的复杂映射关系进行处理,从而快速精准地完成定位和测量任务。

(6)目标检测和跟踪

图像处理中的运动目标检测和跟踪,就是实时检测摄像机捕获的场景图像中是否有运动目标,并预测它下一步的运动方向和趋势,即跟踪。并及时将这些运动数据提交给后续的分析和控制处理,形成相应的控制动作。图像采集一般使用单个摄像机,如果需要也可以使用两个摄像机,模仿人的双目视觉而获得场景的立体信息,这样更加有利于目标检测和跟踪处理。

医疗领域的计算机视觉技术

近年来,伴随着医学图像采集技术的显著改善,医疗设备以更快的影像帧率、更高的影像分辨率和通信技术,实时采集大量的医学影像和传感器数据。基于图像处理技术的医学影像解释方法,也迫切希望得到解决。在医学图像处理中,GPU首先被引入用于分割和重建,然后用于机器学习。在医学领域,机器视觉主要用于医学辅助诊断。首先采集核磁共振、超声波、激光、Ｘ射线、γ射线等对人体检查记录的图像,再利用数字图像处理技术、信息融合技术对这些医学图像进行分析、描述和识别,最后得出相关信息,对辅助医生诊断人体病源大小、形状和异常,并进行有效治疗发挥了重要的作用。不同医学影像设备得到的是不同特性的生物组织图像,如Ｘ射线反映的是骨骼组织,核磁共振影像反映的是有机组织图像,而医生往往需要考虑骨骼有机组织的关系,因而需要利用数字图像处理技术将两种图像适当地叠加起来,以便于医学分析。

(1)病变检测

面向疾病预防的病变检查,包括有无病变、病理类型,是健康检查的基础任务。基于计算机的病变检测,是计算机视觉技术在智慧医疗中的重大体现,并且非常适合引入深度学习。在基于计算机的病变检测方法中,一般通过监督学习方法或经典图像处理技术(如过滤和数学形态学),计算并且提取身体部位或器官在健康状态下的特征工程。其中,基于监督学习的机器学习方法,它所使用的训练数据样本,需要专业医师提供全面的病理影像,并手工标注。特征工程计算过程产生的分类器,将特征向量映射到候选者来检测实际病变的概率。

基于卷积神经网络(CNN)的病变检测系统,病变检测的准确度提高了13-34%,而使用非深度学习分类器(例如支持向量机)几乎不可能实现这种程度的提升。CNN由输入层,两个隐藏层和输出层组成,并用于反向传播。

(2)病理图像分割

图像分割就是一个根据图像中的相似度计算,把图像分割成若干个同质区域,并且为每个区域进行定性分类的过程。在病理图像分割中,传统方法中只利用了颜色等简单特征,开发了基于区域的分割方法和基于边界的分割方法,前者依赖于图像的空间局部特征,如灰度、纹理及其它象素统计特性的均匀性等,后者主要是利用梯度信息确定目标的边界。传统方法对图像本身所蕴含的丰富信息,利用不足。在分类方法选取中,也大多是基于聚类等简单方法,存在精确性较低及适应范围小的缺陷。多节点、多层次的CNN模型,提取了图像中尽可能多的潜在特征,并对这些特征利用PCA(Primary Component Analysis,主成分选取方法)降维,选出其中的关键特征,然后结合SVM(Support Vector Machine,支持向量机),对病理图像进行像素分割。该方法能在更大程度上利用图像本身的信息,提高了图像中细胞分类的准确率。基于卷积神经网络的计算机视觉技术,大大增强了病理图像分割过程的效率和质量。

(3)病理图像配准

图像配准是多图像融合和三维建模的前提,是决定医学图像融合技术发展的关键技术。在图像认知过程中,单一模态的图像只能提供单个维度的视角,图像中的空间信息难以全方位展示。多种模式或同一模式的多次成像通过配准融合,可以实现感兴趣区域的信息增强和上下文信息补全。在一幅图像上同时表达来自多种成像源的信息,医生就能做出更加准确的诊断或制定出更加合适的治疗方法。医学图像配准过程包括图像的多种处理方法,如定位、旋转、尺寸缩放、拓扑变换,即通过寻找一种空间变换模型,使两幅图像对应点达到空间位置和解剖结构上的映射。如果这种映射过程是一一对应的,即在重叠区域中,一幅图像中的任意像素点在另一幅图像中都有对应点,我们就称之为配准。目前,基于尺度不变特征转换和卷积神经网络的图像配准模型,是病理图像配准的主要途径。

(4)基于病理图像的三维建模与仿真

传统的病理检测,往往需要从病体切割取样,往往费时费力,还会损伤病体健康,导致治疗任务加重。基于病理图像的三维建模与可视化,则可以提高病理检查过程,同时消除检查过程对病体的影像。基于图像建模的核心问题是基于图像的几何建模问题。它研究如何从图像中,恢复器官组织的实时三维信息,并构建其几何模型,以进行三维渲染和编辑。在图像配准的基础上,基于图像的三维建模方法,主要有轮廓法、亮度法、运动法、纹理法。这些方法都需要利用图像像素计算,并提取图像特征。前者包含大量的传统图像处理操作,如对图像进行逐点处理,把两幅图像对应像素点的灰度值进行加权求和、灰度取大或者灰度取小等操作。后者,基于深度学习,对图像进行特征提取、目标分割等处理,通用性更强。基于病理图像的三维模型与仿真建模,把有价值的生理功能信息与精确的解剖结构结合在一起,可以为临床诊断和治疗提供更加全面和准确的资料。

总结

得益于深度学习技术的快速发展,计算机视觉技术和应用得到了显著进步,并推动了各行业的智能化、信息化发展,在效率、精度、重复性、人工成本、信息化打破数据孤岛、数字化再处理等方面具有巨大优势。由于医疗保健数据的敏感性和权威性,医疗卫生保健领域的深度学习,尤其是医学图像技术,发展速度非常慢。而医疗领域需要需要研究更稳定可靠的、普适的解决方案,以便有效地处理复杂的医疗影像数据,尤其是动态医学影像数据。当然,随着现代医疗系统的发展和优化,如何系统地引入计算机视觉的最新成果,实现与多学科理论的交叉融合,提升和优化临床治疗水平,医务人员和理论技术人员之间的交流就显得越来越重要。这也是现代智慧医疗应该思索的问题。无论如何,AI医学图像处理技术作为提升现代医疗诊断和治疗水平的重要工具, 必将在医学信息研究领域发挥更大的作用。

参考文献:

[1]李明耀,周立明,周其伟．人工智能在医学领域的应用[J]．科技传播,2019,11(20):143-144．

[2]唐家俊,白小玉．计算机视觉在医学领域的应用[J]．通讯世界,2019,26(04):120-121．

[3]王一培,杨雯,张艺钊,赖茂德和徐扬．精准医学人工智能在病理图像中的应用[J]．现代信息技术,2018,2(5):170-172．

[4] 林瑶, 田捷． 医学图像分割方法综述[J]． 模式识别与人工智能, 2002, 15(2)．

[5] 林晓, 邱晓嘉． 图像分析技术在医学上的应用[J]． 包头医学院学报, 2005, 21 (3): 311～31

关于慧维智能

   慧维智能医疗科技有限公司成立于2019年6月,专业从事智能医疗产品的研发、生产与销售。我们的核心成员,均来自全球顶尖的科研机构和世界五百强企业。慧维智能以在“人工智能”和“边缘计算”领域的自主核心技术为驱动力,致力于为全球医疗机构提供“高水准、好体验”的医疗产品与服务,最大程度地帮助医生提高诊疗水平与效率。