2017年7月20日下午，信和研究院举办“人工智能与金融的情感碰撞”主题培训活动。执行院长王建斌在会上首次向信和财富内部相关部门揭开“人际互动多模态AI反欺诈”项目的神秘面纱，并由首席科学家——美国卡内基梅隆大学杨滢博士和新加坡国立大学张鹿鸣博士详细介绍了本项目的理论基础和技术。

　　“人际互动多模态AI反欺诈机器人”是信和研究院在构建类金融企业反欺诈能力方面的一次全新尝试。与传统类金融企业防范反欺诈的手段不同，信和研究院研发的“人际互动多模态AI反欺诈机器人”并不单纯使用授信数据进行交叉校验，更关注授信对象在授信流程的临场互动中表现出的疑点，利用多维度的情感计算规则和算法识别授信对象的欺诈几率并预警欺诈模式。

　　人的面部表情可以分为自主表情和不自主表情，并受脑部不同区域控制。情绪变化通常会引起表情、声纹和肢体动作的变化，例如激怒时说话的声调提高、迟疑时说话速度减慢等。人缺乏对自己表情的监测和反馈，因此通常不能完全控制和伪饰自己所有的行为。

　　“人际互动多模态AI反欺诈机器人”可以识别人在授信过程中的面部肌肉表情单元，并将识别结果进行编码，即AU值。这些表情单元涵盖了授信对象的眉毛、眼角、脸颊、嘴唇等面部细节特征。目前，机器人可以提取45种表情细节特征进行编码。

　　机器人提取并编码AU值后，从授信对象的情绪、声纹、生理、语义表达等方面提取用于监测授信对象的几何特征、外形特征、形变特征、运动特征和频域特征，用于后续的情感映射。

　　特征提取工作完成后，机器人通过神经网络等深度学习算法，自动演算情绪计算公式，将AU值的组合与情绪关联，构建从面部特征点到AU识别、从AU提取到情绪映射的监测路径，最终完成对授信对象的情绪监控。

　　未来研究院的AI反欺诈机器人项目投产后，信和授信平台可以通过手机APP内置的影音采集能力，实时采集对授信对象在问答环节流程中的表情、声纹、肢体动作，并通过部署在云计算平台上的机器人实时进行情绪计算、监测授信对象的欺诈可能性并提出欺诈模式的预警，从而实现智能决策。