买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种对比增强非同构模态融合的多模态情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119807415B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411859384.2，技术领域涉及：G06F16/35；该发明授权一种对比增强非同构模态融合的多模态情感分析方法是由孔维成;杨颜泽;罗新号;乔百友设计研发完成，并于2024-12-17向国家知识产权局提交的专利申请。

本一种对比增强非同构模态融合的多模态情感分析方法在说明书摘要公布了：本发明提供了一种对比增强非同构模态融合的多模态情感分析方法，涉及情感分析技术领域，本发明通过将视觉模态特征和音频模态特征进行融合的方法，来弥补和文本模态之间信息密度的差异，本发明设计了联合对比学习，通过样本内的对比学习和内本间的对比学习，得到样本内的损失和样本间的损失，样本内的对比学习，旨在增强模态间一致性，样本间的对比学习，保障每种模态特征的独立性和独特性，以避免过度融合导致的信息丢失，由此，本发明兼顾模态间的互补性和差异性，并弥补视觉和音频模态与文本模态间信息密度的差异，提升情感分析模型的性能与泛化能力。

本发明授权一种对比增强非同构模态融合的多模态情感分析方法在权利要求书中公布了：1.一种对比增强非同构模态融合的多模态情感分析方法，其特征在于，包括： 步骤1：构建样本集，所述样本集包括多个目标样本，所述目标样本包括输入样本和输出样本，所述输入样本包括时间对齐后的视觉特征Xv、时间对齐后的音频特征Xa和时间对齐后的文本特征Xt，所述输出样本为输入样本对应的标签，所述标签为输入样本对应的情感类别，对样本集进行划分，得到训练集、验证集和测试集； 步骤2：通过前馈网络，对测试集中目标样本中时间对齐后的视觉特征Xv和时间对齐后的音频特征Xa进行处理，得到视觉模态特征Fv和音频模态特征Fa，通过两层LSTM提取时间对齐后的文本特征Xt的时序关系，得到文本模态特征Ft； 步骤3：根据视觉模态特征Fv和音频模态特征Fa，获得非文本模态特征Fav； 步骤3.1：针对视觉模态特征Fv，通过第一类L层Transformer的编码器进行信息的组织与浓缩，得到浓缩后的视觉模态特征针对音频模态特征Fa，通过第一类L层Transformer的编码器进行信息的组织与浓缩，得到浓缩后的音频模态特征 步骤3.2：获取共享Token，所述共享Token表示为其中，f表示共享Token中数据总数；将共享TokenFb与浓缩后的音频模态特征进行拼接，得到将通过第一类L层Transformer的编码器，得到将与浓缩后的视觉模态特征进行拼接，得到将通过第一类L层Transformer的编码器，得到非文本模态特征 步骤4：使用跨模态Transformer编码器对非文本特征Fav和文本模态特征Ft进行跨模态注意力交互，得到增强后的文本特征和增强后的非文本特征 步骤5：对增强后的文本特征和增强后的非文本特征进行拼接，得到融合后的特征R，将融合后的特征R输入到一层全连接网络中，输出输入样本的情感预测结果y，具体通过以下公式实现： y＝W2R+b2； 其中，W2和b2是全连接层的权重和偏置； 步骤6：计算样本内对比损失值、样本间对比损失值和分类任务的损失值； 步骤6.1：针对当前批次中所有目标样本，针对目标样本中的文本模态特征Ft和非文本模态特征Fav，计算样本内对比损失值Lintra； 步骤6.2：针对每一个样本，根据该样本的标签，确定该样本的负样本集和正样本集，根据负样本集生成负样本对集合Ni，根据正样本集生成正样本对集合Pi，根据负样本对集合Ni和正样本对集合Pi，计算样本间对比损失值Linter； 步骤6.3：根据输出样本和步骤5得到的输入样本对应的情感预测结果，使用均方误差损失函数计算分类任务的损失值Lpred； 步骤7：根据分类任务的损失值Lpred、样本间对比损失值Linter和样本内对比损失值Lintra，计算总损失值Lall，具体通过以下公式实现： Lall＝Lpred+λintraLintra+λinterLinter； 其中，λintra和λinter为两个对比学习损失权重； 根据总损失值对步骤2中前馈网络的参数和LSTM的参数，以及步骤3中第一类L层Transformer的编码器的参数，以及步骤4中跨模态Transformer编码器的参数，以及步骤5中全连接网络的参数，进行更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。