买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利一种基于数据增强及跨模态特征融合的情绪智能识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116011457B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211568707.3，技术领域涉及：G06F40/30；该发明授权一种基于数据增强及跨模态特征融合的情绪智能识别方法是由熊海良;刘凯;朱维红;李康;杨刚强;许宏吉;曹叶文;许玉丹;赵佳琛设计研发完成，并于2022-12-08向国家知识产权局提交的专利申请。

本一种基于数据增强及跨模态特征融合的情绪智能识别方法在说明书摘要公布了：本发明公开了一种基于数据增强及跨模态特征融合的情绪智能识别方法，包括如下步骤：多模态数据采集；将文本数据进行数据增强，并利用增强后的文本数据构造文本情感特征；将语音数据提取3D语谱图特征，并进行增强得到语音情感特征；使用跨模态Transformer模型对文本情感特征和语音情感特征进行跨模态特征信息融合，得到融合后的多模态情感特征；使用基于BiGRU与双池化层的分类模型对融合后的多模态情感特征进行特征学习，并使用交叉熵损失函数进行训练；利用训练后的分类模型进行情绪识别。本发明所公开的方法可以有效利用多种模态所包含的情感信息，捕捉不同模态之间的互补信息，从而提升情绪识别模型的识别能力和泛化能力。

本发明授权一种基于数据增强及跨模态特征融合的情绪智能识别方法在权利要求书中公布了：1.一种基于数据增强及跨模态特征融合的情绪智能识别方法，其特征在于，包括如下步骤： 1多模态数据采集； 2将文本数据进行数据增强，并利用增强后的文本数据生成文本语义词向量和文本情感词向量，进而构造文本情感特征；将语音数据进行处理得到语音信号的语图谱，然后计算语谱图特征的一阶差分，二阶差分，将三者堆叠后得到3D语谱图特征，对3D语谱图特征掩盖频域通道、掩盖时域通道进行增强，然后使用卷积下采样模块将3D语谱图特征矩阵转换为2D特征矩阵，得到语音情感特征； 3使用跨模态Transformer模型对文本情感特征和语音情感特征进行跨模态特征信息融合，得到融合后的多模态情感特征；具体包括： 由语音情感特征接受文本情感特征时，文本情感特征输入注意力机制中，得到其查询向量矩阵；语音情感特征输入注意力机制中得到键向量矩阵和值向量矩阵；查询向量矩阵与键向量矩阵点积后缩放并经过Softmax得到值向量矩阵相应的权重矩阵，并将该权重矩阵与值向量矩阵逐点相乘；随后输入LayerNorm与Feed-forward两个网络层后即为跨模态Tansformer的输出； 由文本情感特征接受语音情感特征时，注意力机制计算过程与上述步骤区别为将文本情感特征与语音情感特征位置互换； 将得到两种跨模态情感特征融合后的矩阵进行拼接，并经过一个线性层Linear，得到融合后的多模态情感特征信息； 4使用基于BiGRU与双池化层的分类模型对融合后的多模态情感特征进行特征学习，并使用交叉熵损失函数进行训练；具体包括： 多模态情感特征首先输入BiGRU，其公式为： ； ； ； 其中，为当前时刻t时的输入，表示在t时的前向GRU输出向量，表示在t时的后向GRU输出向量，表示单向GRU模块，表示按位加； 所述双池化层为经过BiGRU特征学习后的输出分为两路，一路特征做平均池化，一路特征做最大池化，两路池化后的数据拼接在一起，经过线性层Linear与Softmax获得分类结果，其公式如下： ； ； ； 其中，K表示池化范围内的特征数量，线性层linear输出维度为6； 5利用训练后的分类模型进行情绪识别，得到情绪识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：266200 山东省青岛市即墨区滨海路72号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。