买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中山大学·深圳;中山大学申请的专利一种基于跨模态语义对齐和交互学习的多模态情感理解方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119475214B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411474129.6，技术领域涉及：G06F18/25；该发明授权一种基于跨模态语义对齐和交互学习的多模态情感理解方法是由姬艳丽设计研发完成，并于2024-10-22向国家知识产权局提交的专利申请。

本一种基于跨模态语义对齐和交互学习的多模态情感理解方法在说明书摘要公布了：本发明公开了一种基于跨模态语义对齐和交互学习的多模态情感理解方法，方法包括：获取多模态的初始数据；对各模态的初始数据进行语义量化处理；根据语义特征集合，进行文本模态主导的跨模态特征聚合学习；根据多模态语义聚合特征表达，进行多模态特征的模态内语义关系学习，确定模态内语义Tokens之间的上下文关系，并通过与文本模态进行语义对齐，增强不同模态特征表达的语义一致性；采用多模态融合策略，将多模态的特征进行融合处理，得到融合特征；根据融合特征建立情感理解模型，并根据情感理解模型实现多模态情感理解处理。本发明实施例能够提升情感分析的性能，利于促进不同模态的有效融合，可广泛应用于计算机技术领域。

本发明授权一种基于跨模态语义对齐和交互学习的多模态情感理解方法在权利要求书中公布了：1.一种基于跨模态语义对齐和交互学习的多模态情感理解方法，其特征在于，包括以下步骤： 获取多模态的初始数据； 对各模态的所述初始数据进行语义量化处理，得到语义特征集合； 根据所述语义特征集合，进行文本模态主导的跨模态特征聚合学习，得到多模态语义聚合特征表达； 根据所述多模态语义聚合特征表达，进行多模态特征的模态内语义关系学习，确定模态内语义Tokens之间的上下文关系，并通过与文本模态进行语义对齐，增强不同模态特征表达的语义一致性； 采用多模态融合策略，将多模态的特征进行融合处理，得到融合特征； 根据所述融合特征建立情感理解模型，并根据所述情感理解模型实现多模态情感理解处理; 所述根据所述语义特征集合，进行文本模态主导的跨模态特征聚合学习，得到多模态语义聚合特征表达，包括以下步骤： 根据所述语义特征集合，将语义量化后的文本模态与其他模态的特征进行跨模态特征语义对齐处理，使得语义量化后的文本模态与其他模态对应； 根据聚类中心矢量，对其他模态的序列特征进行特征聚合学习，得到各个模态的语义聚合特征表达; 当将语义量化后的文本模态与视频模态的特征进行跨模态特征语义对齐处理时，包括以下步骤： 根据特征描述聚合算法对视频序列特征进行聚类，得到聚类中心矢量； 通过注意力机制由矢量作为输入，训练模型生成视频序列的Query矢量，与已有聚类矢量序列组合成为新的特征表达； 采用中心矩差异来计算视频模态与文本模态Query矢量之间的相似性，通过最小化中心矩差异损失值，训练特征学习模型和聚类模块去学习来获得与文本模态的语义信息相对应的其他模态的以聚类中心矢量为代表的语义特征表达，实现跨模态语义对齐； 以学习到的视觉表达聚类中心矢量为基准，对视频序列特征进行加权聚合，语义聚合特征表达。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学·深圳;中山大学，其通讯地址为：518107 广东省深圳市光明区中山大学深圳校区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。