买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利基于多源信号和神经网络的双模态情绪识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114707530B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202011492594.4，技术领域涉及：G06V20/40；该发明授权基于多源信号和神经网络的双模态情绪识别方法及系统是由顾陈;刘锋;洪弘;李彧晟;孙理;朱晓华设计研发完成，并于2020-12-17向国家知识产权局提交的专利申请。

本基于多源信号和神经网络的双模态情绪识别方法及系统在说明书摘要公布了：本发明公开了一种基于多源信号和神经网络的双模态情绪识别方法及系统。首先从雷达回波信号中提取呼吸信号，从视频人脸脸颊区域提取PPG信号，从PPG信号中提取心跳信号，利用一维卷积神经网络提取生理信号的特征，其次，从视频中提取眼部及嘴部区域的连续图片帧，利用二维卷积神经网络和长短时记忆网络提取其特征，然后基于多模态紧凑型双线性池化算法进行特征融合，采用注意力机制为每一维融合后的特征赋不同权重，最后通过分类层进行情绪识别。本发明利用双模态传感器结合紧凑型双线性池化特征融合算法来实现情绪识别，与传统的单模态传感器以及特征拼接式的特征融合相比，有效降低了特征维度，避免维度爆炸，同时提升了情绪识别的准确率。

本发明授权基于多源信号和神经网络的双模态情绪识别方法及系统在权利要求书中公布了：1.一种基于多源信号和神经网络的双模态情绪识别方法，其特征在于，所述方法包括以下步骤： 步骤1，利用摄像头采集受试者面部表情变化的视频，同时用生命体征监测雷达采集包含受试者胸腹部运动信息的雷达回波信号，并将雷达回波信号进行反正切解调及带通滤波，得到呼吸信号； 步骤2，对视频进行逐帧分割并提取人脸区域，得到连续的人脸图片帧，从人脸图片帧中提取心跳信号，并对心跳信号进行重构； 步骤3，分割所述人脸图片帧，得到包含情绪信息的眼部、嘴部区域连续图片帧； 步骤4，对步骤1至步骤3中得到的两种模态的数据进行预处理，之后利用神经网络分别提取生理信号和连续图片帧中的情绪相关特征；所述生理信号包括呼吸信号和心跳信号； 步骤5，对步骤4中提取的两种模态的特征进行融合，融合后的特征经注意力机制处理，为每一维融合后的特征赋以不同的权重，再连接分类层，构建完整的双模态情绪识别模型； 步骤6，利用采集的生理信号和连续图片帧数据训练双模态情绪识别模型，再利用训练好的模型对未知情绪状态进行预测，实现情绪识别； 步骤2中所述从人脸图片帧中提取心跳信号，并对心跳信号进行重构，具体过程包括： 步骤21-1，从人脸连续图片帧中的脸颊区域提取PPG信号； 步骤21-2，对PPG信号进行带通滤波获得心跳信号； 步骤21-3，利用相位追踪算法重构心跳信号； 步骤2中所述对心跳信号进行重构，具体过程包括： 步骤22-1，利用基于L1趋势滤波的去趋势方法对失真的PPG信号进行去趋势； 步骤22-2，对去趋势后的PPG信号进行独立成分分析处理，得到的独立成分分量中频域峰值最高的分量即为失真的心跳信号，记作St，t表示当前时刻； 步骤22-3，对失真心跳信号St作希尔伯特变换，得到失真心跳信号St的相位phaset以及幅值magt； 步骤22-4，初始化观测矩阵A和预测矩阵Y，用于预测失真信号的相位，具体为： 式中，w为用于预测相位的采样点个数，T为矩阵转置符号； 由观测矩阵A和预测矩阵Y获得相位线性预测的最小二乘解P为： P＝Y*ATA-1AT 式中，*为矩阵外积符号，ATA-1为ATA的广义逆矩阵； 步骤22-5，利用当前失真时刻t的前w个失真心跳信号采样点的相位，对当前失真时刻t的相位进行线性预测，记作phase_predictt： phase_predictt＝P*phaset 步骤22-6，将phase_predictt的值域变换至-π，π，记录phase_predictt变换前后的差值diffN×2π，并计算当前失真时刻t失真信号相位phaset与预测相位phase_predictt之间的残差phaset-phase_predictt，记作res； 步骤22-7，将残差res的值域变换至-π，π，利用res和phase_predictt预测重构心跳信号的相位phase_reconstructt： phase_reconstructt＝phase_predictt+α×res+N×2π 式中，0＜α≤1，为相位变化的容忍系数，N为diff2π； 步骤22-8，重构失真心跳信号： St＝magt.*phase_reconstructt 式中，.*表示对应元素乘积； 步骤4中所述对步骤1至步骤3中得到的两种模态的数据进行预处理，具体包括： 步骤41-1，将呼吸信号的采样率降采样至与心跳信号相同，并将降采样后的呼吸信号和心跳信号保存在同一包数据的不同信号通道中； 步骤41-2，以与生理信号相同的保存方式，将从视频中提取的眼部和嘴部区域连续图片帧存储在同一包数据的不同通道中； 步骤41-3，在时间上对齐生理信号和连续图片帧，并通过采集的视频定位受试者的体动时间段，将包含体动时间段的生理信号数据和连续图片帧数据删除，获得未受体动干扰的生理信号数据和连续图片帧数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。