买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南师范大学申请的专利多模态情感分析方法、装置及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116662482B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310572208.X，技术领域涉及：G06F16/334；该发明授权多模态情感分析方法、装置及电子设备是由丁美荣;陈鸿业;王雨航;王佳杭;王昭泓设计研发完成，并于2023-05-19向国家知识产权局提交的专利申请。

本多模态情感分析方法、装置及电子设备在说明书摘要公布了：本发明涉及一种多模态情感分析方法，包括步骤：对待分析视频数据中的图像数据、文本数据、语音数据进行特征提取，得到图像特征、文本特征、语音特征；根据文本特征对图像特征、语音特征进行特征增强，得到图像增强特征、语音增强特征；对图像增强特征、语音增强特征分别和文本特征进行跨模态注意力交互，得到图文交互特征、音文交互特征；对图像特征、文本特征、语音特征分别进行基于多头自注意力机制的特征提取，得到图像自注意力特征、文本自注意力特征、语音自注意力特征；将文本自注意力特征、图像自注意力特征、语音自注意力特征、图文交互特征和音文交互特征融合得到多模态视频特征；对多模态视频特征进行情感分类预测，得到情感分类结果。

本发明授权多模态情感分析方法、装置及电子设备在权利要求书中公布了：1.一种多模态情感分析方法，其特征在于，包括步骤： 获取待分析视频数据中的图像数据，对所述图像数据进行特征提取，得到图像特征； 获取所述待分析视频数据中的文本数据，对所述文本数据进行特征提取，得到文本特征； 获取所述待分析视频数据中的语音数据，对所述语音数据进行特征提取，得到语音特征； 根据所述文本特征对所述图像特征进行特征增强，得到图像增强特征； 根据所述文本特征对所述语音特征进行特征增强，得到语音增强特征； 对所述图像增强特征和所述文本特征进行跨模态注意力交互，得到图文交互特征； 对所述语音增强特征和所述文本特征进行跨模态注意力交互，得到音文交互特征； 对所述图像特征进行基于多头自注意力机制的特征提取，得到图像自注意力特征； 对所述文本特征进行基于多头自注意力机制的特征提取，得到文本自注意力特征； 对所述语音特征进行基于多头自注意力机制的特征提取，得到语音自注意力特征； 将所述文本自注意力特征、所述图像自注意力特征、所述语音自注意力特征、所述图文交互特征和所述音文交互特征进行融合，得到多模态视频特征； 对所述多模态视频特征进行情感分类预测，得到情感分类结果； 根据所述文本特征对所述图像特征进行特征增强，得到图像增强特征，包括步骤： 对所述文本特征进行第一自注意力编码，得到第一文本编码向量； 将所述第一文本编码向量与所述图像特征进行多模态注意力解码，得到图像增强特征； 通过N个以链式结构连接的第一编码器对所述文本特征进行第一自注意力编码，所述第一编码器用于将所述文本特征或前一第一编码器的输出数据分别作为查询Q、键K和值V进行多头注意力计算，并将计算结果与所述文本特征或前一第一编码器的输出数据进行残差连接并归一化，得到第一多头注意力；对所述第一多头注意力进行前馈神经网络处理，并将处理结果与所述第一多头注意力进行残差连接并归一化，得到所述第一编码器的输出数据； 通过N个以链式结构连接的图文解码器将所述第一文本编码向量与所述图像特征进行多模态注意力解码，所述图文解码器用于将所述第一文本编码向量分别作为查询Q和键K，将所述图像特征或前一图文解码器的输出数据作为值V进行多头注意力计算，并将计算结果与所述图像特征或前一图文解码器的输出数据进行残差连接并归一化，得到图文多头注意力；对所述图文多头注意力进行前馈神经网络处理，并将处理结果与所述图文多头注意力进行残差连接并归一化，得到所述图文解码器的输出数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南师范大学，其通讯地址为：528225 广东省佛山市南海区狮山南海软件园华南师范大学软件学院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。