监听、测听、辅听…AI听觉技术的应用有哪些?

科技少年QAQ 2022-05-05

人工智能机器学习聋人

3740 字丨阅读本文需 8 分钟

AI视觉技术应用于各行各业已经不是新鲜事了,而现在AI听觉技术,也已经进入了战场应用。

据外国媒体 Wired 报道,人工智能(AI)工具已经被用于窃听士兵在战场上的通信内容。

图片来源:网络

据悉,美军正在投资数百万美元开发能够在现场采集和分析不同信号的人工智能软件。因为使用机器学习工具分析图像等数据已经在情报界得到了很好的应用。同时,使用人工智能收集和分析数据有可能在将来成为战场作战的重要核心。

AI用于监听和语义分析

3 月初,几名在战场的士兵采用未加密通道无线电进行通信的内容被捕获并被发布在网上,让AI听觉技术应用于战场的情况被曝光。

目前,用自然语言处理技术来分析军方的通信内容还是非常新鲜的,因为对于军 方来说,破译截获的通信仍然需要耗费人力。

同时,Primer 开发的工具还展示了机器学习在情报信息分析方面的价值——利用开源的情报数据意味着需要进行大量信息的筛选,人力无法处理大量的开源情报。

Primer 与其人工智能工具

Primer 公司目前已经在售卖其研发并经过数据训练的人工智能算法。这些人工智能算法可以转录和翻译电话内容,其中还有能够提取关键术语或短语的算法。

AI听觉技术,已经卷入国际冲突?

Primer公司产品界面

根据其首席执行官表示,Primer的人工智能工具已经可以完成以下 4 类工作:

01收集从网页输出数据源中捕获的音频数据,这些音频数据是使用仿真无线电接收器硬件的软件捕获的广播通信。

02消除噪音,包括持续的闲谈和播放着的音乐等背景音。

03转录并翻译讲话。

04将与战场形势相关的关键性陈述标注出来。

在某些情况下,这个过程会涉及重新训练机器学习模型,从而可以识别出在士兵对话中的军用车辆或者武器的通俗性代号和术语。

AI听觉技术,已经卷入国际冲突?

Primer 的端到端 平台(来源:Primer)

其实,近年来,AI听觉技术在生活中的应用研究也越来越广泛。

教AI认知手语

在北京冬奥会中,有一批失聪的大学生成了远程志愿者,他们来自天津理工大学聋人工学院。这些志愿者把电视新闻栏目的内容转换成手语顺序的文本,为冬奥会转播中需要的AI(人工智能)手语数字人提供大规模的语料支持。

袁甜甜,天津理工大学聋人工学院副院长,是这些听障大学生的老师,也是无障碍智能科技研发中心的成员。她介绍:“无障碍智能科技研发中心将为冬奥会的实况转播提供AI手语数字人的手语语料支持,我和学生们已经为此忙了两个多月。能够为冬奥会服务,我们充满了荣誉感。”

2021年,创办中国聋人高等工科特殊教育30年纪念大会上,一个“手语角”吸引了不少人驻足。只要在摄像头前打出手语,身后的显示屏上就会出现语意连贯的文字翻译。袁甜甜展示着这个被称为“复杂场景下中国手语实时翻译系统”的《“鲸可语”——多模态连续手语自动标注识别系统》项目(下称“鲸可语”)。据介绍,在光线充足且稳定的室内,系统对手语的识别率最高能达到95%,部分场景下可以实现“同步翻译”。研发这套系统的目的,是让每个健听人都能轻松地看懂手语。其自动标注识别系统“鲸可语”还获得了去年第七届中国国际“互联网+”大学生创新创业大赛主赛道的金奖。

王建源是研发团队的成员之一。他是聋人家庭长大的聋儿,听力损失严重,吐字发声非常困难,手语是他和这个世界打交道最初也最有效的方式。22年来,聋人的身份没有让他感到自卑;口不能言,也没耽误他成为一个妥妥的“学霸”;但如果你问他,因为听力障碍,从小到大遇到过哪些方面的不便,他会平静地在手机上打出四个字:方方面面——因为认识手语的人太少了。

一个最典型的例子是看病,如果没有手语翻译陪着,即便只是头疼脑热,像王建源这样的“手语族”也很难独自就医——绝大多数医生不会手语。

从1991年9月11日首批6名聋生入学到今天,天津理工大学聋人学院的老师们积累了很多与聋人沟通的经验。

袁甜甜学的是计算机专业,2006年研究生一毕业,她就在聋人工学院计算机科学与技术系工作。上班第一天,她面对的挑战就是学手语。通过看文字、读唇语,学生们能够了解老师,可是老师不能很快地了解学生。磕磕绊绊地学会了手语,袁甜甜记不清有多少次,凌晨一两点钟陪学生去看病,帮忙做手语翻译。

我国有2780万聋人,如何依靠科技的力量让健康人走进他们的世界?袁甜甜、王建源等人开始了“鲸可语”手语实时翻译系统的研发。

“鲸可语”手语实时翻译类似于手语版的“语音输入法”。只不过后者是输入语音、机器识别、转成文字,而前者是输入手语动作和表情、机器识别。

要把人工智能训练成一个合格的手语翻译,得把手势、表情、大肢体动作,通通从视频转化为数据,再“教”给计算机。所以,能充分理解、展示手语之美的听障生,是最适合给人工智能当“老师”的人。

很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译,一个直接的原因,就是无法找到足够多的人在自然状态下采集手语。“而我们的团队背靠聋人工学院,很多成员本身就是手语使用者,在自然手语的采集上有优势。”袁甜甜说。

让健听人“读懂”听障人更重要

冬奥会中,袁甜甜团队服务的AI手语数字人,能够帮助聋人更好地理解健听人的表达,“鲸可语”手语识别和翻译则是借助科技的力量帮助健听人更好地理解聋人的表达。这两者之间有怎样的区别?

做AI手语数字人,是让聋人用熟悉的方式去理解健听人的表达方式,核心研发点是手语生成,而“鲸可语”手语识别和翻译的核心研发点是手语识别,“鲸可语”这项技术更难。“鲸可语”需要计算机视觉和自然语言识别处理两种技术:聋人的手语包括表情、手部动作,肢体动作,都需要计算机做融合识别,这是计算机识别技术;把计算机识别出来的信息用计算机程序再变成健听人所熟悉的语言模式,这是自然语言识别处理技术。AI手语数字人,某种程度上只涉及自然语言识别处理技术过程。从技术转化上看,AI手语数字人的产业落地时间会更短,数据上的投入相对较少,更容易将成果市场化。

“为什么一定要搞手语翻译呢?聋人听不到,现在有语音识别啊!有的聋人不会说话,拿手机打字不就行了吗?”曾经有一些企业向袁甜甜了解过正在开发中的手语实时翻译系统,想谈投资。但谈来谈去,他们却对项目的必要性产生了疑问,觉得手语翻译除了“做善事”没有其他意义。为什么还要倾心于“鲸可语”的研发和转化呢?

“在与学生交流的过程中,我知道对残障人士最好的关心就是平等。他们不是残障,只是与我们不一样。”袁甜甜说。

沟通永远是双向的。我们教听障人写字、认字,读唇语,他们在努力融入健听人的世界;我们健听人也要为听懂接纳听障人作出一点努力。

袁甜甜说,直到今天,手语仍然是许多听障人士最自然、高效的表达方式,“比写字、打字都快”。但为了促进无障碍交流,要求健听人都去学手语,显然不现实。“鲸可语”手语实时翻译系统就是利用高科技让健听人努力向听障人靠拢。

AI听力加持!助力老龄生活

第二次全国残疾人抽样调查数据显示,全国有2780万左右的听障人士。有听障人士认为“无法与人正常交流,工作困难,生活受阻。时间长了,就越来越难正确、有效地与世界沟通,有种被有声世界边缘化的感觉”。

如何帮助更多的听障人士更好地融入数字社会?如何给听障人士提供切实有效的帮助,鼓励他们去追寻人生中“美妙的乐章”?

其实国家一直以来就在稳步规划,助推听障人士融入社会。在“十四五规划”中,就有关于无障碍环境建设,如:中国残联、住建部、工信部等13部门联合印发《实施方案》。《实施方案》明确提出,要大力发展信息无障碍建设。加快信息化与无障碍环境的深度融合,将信息无障碍作为新型智慧城市、数字乡村建设的重要组成部分。不过仅仅是政府推动还远远不够。

腾讯交出了自己的答卷。在全国爱耳日”之际,腾讯表示,参与并发起的天籁行动将围绕“AI测听、AI辅听、公益救助”,推出公益测听程序、50岁以上老年人线下免费听力义诊、针对老年人的听障救助等新举措。而且值得关注的是,天籁行动也是腾讯科技公益计划的首个落地项目。

赋能助听器

全球最广泛的听力解决方案供应商瑞士索诺瓦集团旗下优利康的最新助听器技术“迷你星·蔚蓝”今天在2021年中国国际医疗器械博览会上展出。这款全新的助听器引入了人工智能技术,可以依据听障人士具体需求,适应其个性化的体验和生活方式,并且拥有即时调整和无线直连功能。

调查显示,各种复杂环境下的聆听效果是听障人士应用助听器技术的首要需求。而人工智能技术为实现这一需求提供了基础。机器学习是人工智能的重要分支,它包括创建可以学习的算法。通过机器学习,听力设备可以模拟人类对周围的听力环境进行分类。

“优利康拥有超过20年的AI机器学习的经验,我们投入了大量时间开发和研究环境分类器,不断提高环境分辨的能力。” 索诺瓦中国区培训总监、高级听力学家杨欣怡博士表示。“目前,‘迷你星·蔚蓝’助听器技术应用IOS智能声景融合系统, 具有3712种环境组合分类,比如咖啡厅,车站,聚会,超市,家里等等,其环境分类功能可与正常的年轻人进行比较。因此,可以说无论你处在何种生活环境都将根据周围环境将聆听优化至最佳表现。”

在针对12000名听障用户做的调研中,发现有78%的用户对于助听器功能的设置感到困惑,比如希望能够重新设置部分功能,甚至有50%的用户希望能够在家中调试。而传统的助听器验配方式无法满足用户的这一需求,用户越来越需要随时针对不同的变化,调整他们的设备。

迷你星·蔚蓝助听器技术通过生活环境评估工具,采集用户生活聆听数据,精准洞察用户真实需求,在用户聆听历程不同阶段,解决并满足用户不同需求,以其特有验配工具为专业验配师提供循证医学大数据,从而为每一位用户提供个性化听力解决方案。

小结

其实,Primer 只是数量越来越多的人工智能情报分析公司中的一员,还有大量提供卫星通信和成像的企业等私人科技企业也在间接地为战争或军方服务,从而引发了对企业卷入国际冲突的讨论。

例如,此前谷歌数千名谷歌员工签署了一封公开信,要求谷歌停止为美国军 方开展Maven项目,因为该项目涉及使用人工智能来提高军用无人机的打击精度;追随谷歌员工的脚步,亚马逊内部也曾积极联名劝阻公司停止向美国军方和政府出售 AI 人脸识别技术项目。

监听、测听、辅听、助力老龄生活、赋能助听器……AI听觉技术的应用已经进入生活的方方面面。随着人工智能技术的发展,其体现出来的能力也越来越强,而人工智能和其使用的范围也越来越值得思考。

来源:CPS中安网,光明网,谭谈谭谈谭,文汇网

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:科技少年QAQ
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...