买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于模态空间同化和对比学习的多模态情感分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115310560B 。

龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211139018.0，技术领域涉及：G06F18/2415；该发明授权一种基于模态空间同化和对比学习的多模态情感分类方法是由孔万增;杨宇涛;唐佳佳;倪斌斌;戴玮成;朱莉设计研发完成，并于2022-09-19向国家知识产权局提交的专利申请。

本一种基于模态空间同化和对比学习的多模态情感分类方法在说明书摘要公布了：本发明公开一种基于模态空间同化和对比学习的多模态情感分类方法。本发明引入了同化的概念，利用由模态之间的互补信息组成的引导向量来指引每个模态同时接近解空间。该操作不仅进一步提高搜索解空间的效率，而且使得三种模态的异构空间同构。在空间同构的过程中，能够在一定程度上有效平衡多个模态对最终解空间的贡献。在指导每个模态的时候，该策略能使模型更加关注情感特征，这减少了模态内冗余，构建多模态表示的难度也因此降低了。其次，本发明还运用了监督对比学习来增强模型辨别不同情绪差异的能力，使得模型能够捕捉到更为全面的多模态情感上下文。

本发明授权一种基于模态空间同化和对比学习的多模态情感分类方法在权利要求书中公布了：1.一种基于模态空间同化和对比学习的多模态情感分类方法，其特征在于包括以下步骤： 步骤1、获取多模态数据： 对多模态特征信息进行预处理，抽取音频模态、视频模态和文本模态的初级表征Ht、Ha、Hv； 步骤2、构建TokenLearner模块获得引导向量： 每个模态m∈{t,a,v}均设有TokenLearner模块，t,a,v分别为文本、音频、视频模态；并且这些TokenLeaner模块在每一次引导中都会被重复使用；所述TokenLearner模块通过模态的多头注意力得分计算出一个权重图，然后根据该权重图来得到一个新的向量Zm： Zm＝αmMultiHeadHm,HmHm式4 其中αm是一层一维卷积并在卷积之后添加softmax函数，和分别是Q，K的权重，dk表示Hm的维度，n代表多头的数量；MultiHeadQ,K表示多头注意力得分；headi表示第i头注意力得分；AttentionQ,K是计算注意力得分的函数； 为了确保在Zm中的信息代表其对应模态的补充信息，添加正交性约束对每个模态的TokenLearner模块进行训练，减少冗余的潜在表示，并鼓励TokenLearner模块对多模态的不同方面进行编码； 所述正交性约束定义为： 其中代表平方弗罗贝尼乌斯范数； 通过计算Zm的加权平均值，以获得引导向量Z，其可公式如下： 其中wm是权重； 步骤3、引导模态靠近解空间： 根据步骤2得到的引导向量Z并行指导三个模态所处的空间往解空间靠近；在每一次的引导过程中，引导向量Z会根据当前三个模态所处空间的状态进行实时更新；更具体地说，对于第l次引导，对每个模态的指导后矩阵表示如下： 其中θm表示Transformer模块的模型参数,表示和Zl的拼接，并且引导向量Z对每个模态的引导由Transformer来完成； 将公式7拓展后具体所示： 其中MSA表示多头自注意模块，LN表示层归一化模块，MLP表示多层感知器； 提取经过L次引导得到的三个模态指导后矩阵中最后一行数据，并将它们拼接成一个多模态表示向量Hfinal；L表示最大引导次数； 步骤4、通过监督对比学习约束多模态表示向量Hfinal： 复制多模态表示向量Hfinal的隐藏状态，以形成增广表示并去除它的梯度；基于上述机制，对于将N个样本进行扩展后，就有2N个样本；表示如下： 其中表示监督对比学习的损失函数，是多视图批次中任意样本的索引，τ∈R+表示用于控制类别分离的可调系数，Pi是与i不同但具有相同类别的样本集，并且Ai表示除去i之外的所有索引；SIM是用于计算样本之间相似性的函数； 步骤5、获取分类结果： 多模态表示Hfinal通过全连接层获得最终预测实现多模态情感分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。