买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学苏州人工智能研究院申请的专利一种基于决策级融合的音视频双模态情绪识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119028377B 。

龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410939678.X，技术领域涉及：G10L25/63；该发明授权一种基于决策级融合的音视频双模态情绪识别方法是由干心一;金帅设计研发完成，并于2024-07-15向国家知识产权局提交的专利申请。

本一种基于决策级融合的音视频双模态情绪识别方法在说明书摘要公布了：本发明公开了一种基于决策级融合的音视频双模态情绪识别方法，采用CNN‑LSTM模型进行音频单模态的情绪识别，采用YOLO模型进行视频单模态的情绪识别，以音频片段的长度为基准，按照Ls的长度将视频切片，实现音视频双模态情绪识别结果的同步；将音频切片和视频切片的情绪置信度和PAD维度值共同组成了一个步长为Ls的时间序列，将视频模态的7分类与音频模态的5分类情绪对齐；采用枚举权重法对音视频双模态的情绪识别结果进行融合，获得一个情绪置信度的时间序列和音视频双模态融合后的最终情绪。实现了音视频双模态情绪识别的同步，对于相同的时间步长，音视频模态可同步输出置信度结果，获得更好的音视频双模态情绪融合结果。

本发明授权一种基于决策级融合的音视频双模态情绪识别方法在权利要求书中公布了：1.一种基于决策级融合的音视频双模态情绪识别方法，其特征在于：包括如下步骤： S1、音频单模态的情绪识别：CNN-LSTM模型对输入的音频进行音频序列处理，按照Ls的长度将实时音频进行切片，CNN-LSTM模型对每个切片音频进行预测，实现离散型5类情绪识别和连续型语音维度值PAD预测，得到一个情绪置信度的时间序列和PAD时间序列； S2、视频单模态的情绪识别：YOLO模型对输入的视频进行人脸情绪识别，获得一个关于情绪置信度的序列： 其中，fn表示视频流的第n帧图像；p为置信度，pfn表示视频流第n帧图像的置信度向量； S3、音视频双模态情绪识别结果的同步：以音频片段的长度为基准，按照Ls的长度将实时视频进行切片，每一个视频切片即可得出一个置信度向量，实现了音视频双模态情绪识别结果的同步； S4、音视频双模态情绪识别结果的对齐：将音频切片和视频切片的情绪置信度和PAD维度值共同组成了一个步长为Ls的时间序列，结合Valence-Arousal情绪模型并采用动态权重将人脸Disgusted和Fear情绪的置信度分别归入Angry、Sad和Surprised情绪的置信度中，将视频模态的7分类与音频模态的5分类情绪对齐； S5、音视频双模态情绪识别结果的融合：在对齐音频模态和视频模态的情绪结果后，采用枚举权重法对音视频双模态的情绪识别结果进行融合，获得一个情绪置信度的时间序列和音视频双模态融合后的最终情绪。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学苏州人工智能研究院，其通讯地址为：215000 江苏省苏州市工业园区新平街388号13幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。