买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南大学;湖南大学深圳研究院申请的专利基于门控特征选择与专家建模的多模态情感识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119670009B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411741976.4，技术领域涉及：G06F18/25；该发明授权基于门控特征选择与专家建模的多模态情感识别方法及系统是由张子兴;徐尉翔;董忠仁设计研发完成，并于2024-11-29向国家知识产权局提交的专利申请。

本基于门控特征选择与专家建模的多模态情感识别方法及系统在说明书摘要公布了：本发明公开了一种基于门控特征选择与专家建模的多模态情感识别方法及系统，方法包括以下步骤：获取原始语音信号和原始文本后分别提取不同层级的语音特征和文本特征，通过对应的门控特征选择网络从不同层级的语音特征和文本特征中动态选择最合适的语音特征与文本特征并加权融合，得到融合后的语音特征与融合后的文本特征后拼接得到多模态融合特征；通过模态混合专家Transformer模块对多模态融合特征中不同模态的信息进一步捕捉后再次融合，得到新的多模态融合特征，然后通过混合专家Transformer模块中最适合处理新的多模态融合特征的专家模型对进行处理，得到最终的预测结果并以此预测情感状态。本发明提高了对情感的预测准确率。

本发明授权基于门控特征选择与专家建模的多模态情感识别方法及系统在权利要求书中公布了：1.一种基于门控特征选择与专家建模的多模态情感识别方法，其特征在于，包括以下步骤： 获取原始语音信号和原始文本； 分别对原始语音信号和原始文本提取不同层级的语音特征和文本特征，分别通过语音和文本对应的门控特征选择网络从不同层级的语音特征和文本特征中动态选择最合适的语音特征与文本特征，并分别将被选择的语音特征与文本特征加权融合，得到融合后的语音特征与融合后的文本特征，将融合后的语音特征与融合后的文本特征拼接得到多模态融合特征； 通过模态混合专家Transformer模块的模态专家模型对多模态融合特征中不同模态的信息进一步的捕捉后再次融合，得到新的多模态融合特征，然后通过混合专家Transformer模块中最适合处理新的多模态融合特征的专家模型对新的多模态融合特征进行处理，得到最终的预测结果； 根据所述预测结果预测情感状态； 所述模态混合专家Transformer模块包括3层模态混合专家Transformer网络，每层模态混合专家Transformer网络包括2层模态混合专家Transformer，通过模态混合专家Transformer模块的模态专家模型对多模态融合特征中不同模态的信息进一步的捕捉后再次融合时，具体包括： 通过第1层模态混合专家Transformer的模态专家模型对多模态融合特征中不同模态的信息进一步的捕捉后再次融合，得到第1层模态混合专家Transformer的输出； 将第1层模态混合专家Transformer的输出输入至第2层模态混合专家Transformer，通过第2层模态混合专家Transformer的模态专家模型对多模态融合特征中不同模态的信息进一步的捕捉后再次融合，得到第2层模态混合专家Transformer的输出； 将第2层模态混合专家Transformer的输出重新分割为文本特征与语音特征； 将语音特征输入一个合并模块后，将合并模块的输出与文本特征拼接，构成下一层模态混合专家Transformer网络的输入，所述合并模块由一个自适应平均池化层与一个线性层构成； 通过第1层模态混合专家Transformer的模态专家模型对多模态融合特征中不同模态的信息进一步的捕捉后再次融合，以及通过第2层模态混合专家Transformer的模态专家模型对多模态融合特征中不同模态的信息进一步的捕捉后再次融合时，均包括： 将多模态融合特征输入多头注意力机制； 将多头注意力机制的输出按照多模态融合特征拼接时的顺序进行分割，重新划分为文本特征与语音特征； 将文本特征输入文本模态专家模型，语音特征输入语音模态专家模型； 将文本模态专家模型与语音模态专家模型的输出按顺序拼接在一起，构成下一层模态混合专家Transformer的输入。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南大学;湖南大学深圳研究院，其通讯地址为：410082 湖南省长沙市岳麓区麓山南路麓山门；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。