买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉大学申请的专利一种层级关系一致的多模态情感理解方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119513805B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411495865.X，技术领域涉及：G06F18/25；该发明授权一种层级关系一致的多模态情感理解方法及系统是由叶茫;杨博安;宗小芬设计研发完成，并于2024-10-25向国家知识产权局提交的专利申请。

本一种层级关系一致的多模态情感理解方法及系统在说明书摘要公布了：本发明公开了一种层级关系一致的多模态情感理解方法及系统，设计了多级一致性方法，分别在特征间、模态间、样本间三个不同层级设置一致性来解决此问题。首先在特征间设置了语义一致性，以增强模态内同情绪的聚合，从而加强模态内交互。其次，在模态间设置了表征一致性，通过加强表征的一致来增强模态同步。为了进一步加强不同模态的同步，在样本间设计了一种几何一致性算法，通过保证不同样本的不同模态间的几何一致性，从而增强模态间同步。如此策略缓解了缺乏模态内交互与模态间同步的影响。本发明通过广泛的实验验证了本发明公开的层级关系一致的多模态情感理解方法及系统在多媒体多模态情绪理解方面的有效性与优越性。

本发明授权一种层级关系一致的多模态情感理解方法及系统在权利要求书中公布了：1.一种层级关系一致的多模态情感理解方法，其特征在于，包括以下步骤： 步骤1：提取保留时间维度的原始多模态数据特征Xm；其中m∈{L,A,V}，XL、XA、XV分别表示文本数据特征、语音数据特征和视觉数据特征； 步骤2：采用共有编码器εshared来提取三个模态数据Xm的模态共有部分Xm irr＝εsharedXm；采用三个模态专属编码器，分别提取三个模态数据Xm的模态特有部分Xm exc＝εm privateXm； 所述共有编码器εshared和三个模态专属编码器，均是训练训练好的编码器；训练过程中，将每个模态对应的共有部分和特有部分相连，再通过解码器得到重构特征Rm＝Dm[Xm exc,Xm irr]，其中[·,·]表示相连，Dm表示每个模态对应的解码器； 采用余弦相似作为衡量不同模态特征向量之间的语义一致性指标，最大化不同模态特征向量之间的余弦相似度；采用平方差作为衡量同一样本内不同模态下的特征表示一致性指标，最小化同一样本在不同模态下特征表示的平方差；采用内积的平方差作为衡量不同样本的不同模态子间的几何一致性指标，最小化不同样本不同模态特征内积的平方差； 将重构特征Rm按照上述三个指标进行一致性处理，然后与原始多模态数据特征Xm的三个指标的一致性损失计算加载一起，用于训练，达到预设的收敛标准后结束训练； 步骤3：对于各模态的共有部分，采用自注意力机制网络Θ，获取中间结果aC＝[ΘXL irr,ΘXA irr,ΘXV irr]； 对于各模态的特有部分，采用跨模态注意力机制网络Φ计算每个模态对应的跨模态结果am＝[ΦXm exc,Xm1 exc,ΦXm exc,Xm2 exc]，其中，m1、m2表示除m外的另外两个模态； 最终的综合情绪推测MLP为多层感知机，a′m＝Sigmoidam·Wmm∈{L,A,V,C}，Sigmoid为激活函数，Wm是为各组模态设置的权重。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430072 湖北省武汉市武昌区八一路299号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。