买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于视觉和语音的多模态关联型情感识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116167014B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310167361.4，技术领域涉及：G06F18/25；该发明授权一种基于视觉和语音的多模态关联型情感识别方法及系统是由刘天亮;李凯;刘浏;戴修斌;鲍秉坤设计研发完成，并于2023-02-27向国家知识产权局提交的专利申请。

本一种基于视觉和语音的多模态关联型情感识别方法及系统在说明书摘要公布了：本发明公开了一种基于视觉和语音的多模态关联型情感识别方法及系统，在视觉数据部分，提取指定数量的图像帧并调节为统一分辨率，利用3D卷积神经网络提取时序特征，得到指定尺寸的特征图；利用带滑动窗口的自注意力神经网络提取空间特征，将输出的特征图利用全局平均池化处理为指定大小的一维向量，得到视觉深层情感特征。在语音数据部分，使用声学分析框架提取声学特征，利用自注意力网络提取语音深层情感特征。最后将视觉和语音深层情感特征进行特征级融合，再通过分类器得到情感类型。本发明能够有效的提取视频数据在时间和空间维度的情感信息，并将视觉信息与语音信息相融合，提高了情感分类的识别效率与准确率。

本发明授权一种基于视觉和语音的多模态关联型情感识别方法及系统在权利要求书中公布了：1.一种基于视觉和语音的多模态关联型情感识别方法，其特征在于，包括： S1、对短视频样本的视频流进行预处理，分割出指定数量的图像帧，并将图像帧的分辨率统一调整为指定大小； S2、利用3D卷积神经网络对步骤S1中的图像帧进行时序特征进行提取，得到指定尺寸的特征图；将该特征图输入到带有滑动窗口的自注意力神经网络中，在时间维的基础上进一步对空间维信息进行提取，得到具有时空特征信息的视觉深层情感特征向量； S3、将与短视频内容相对应的语音数据，使用COVAREP声学分析框架提取语音数据的声学特征，再利用自注意力网络进一步提取语音数据的深层情感特征向量； S4、将步骤S2和S3中分别提取出的视觉深层情感特征向量和语音深层情感特征向量以串联拼接的形式进行特征级融合，再将融合后的特征向量通过全连接网络，进一步利用Softmax对情感进行分类，得到完整的情感识别模型； S5、根据步骤S4得到的完整情感识别模型，利用输出的情感概率分布矩阵计算交叉熵损失函数，并使用梯度下降法作为优化方法，通过反向传播不断迭代训练网络，得到训练完成的完整网络模型； S6、将待识别的短视频输入步骤S5得到的网络模型，进行情感分类的识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。