买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东交通学院申请的专利一种基于单模态和多模态联合训练的情感分析方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116186236B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310149494.9，技术领域涉及：G06F16/335；该发明授权一种基于单模态和多模态联合训练的情感分析方法及系统是由朱振方;李萌;李克峰;亓江涛;裴洪丽;张广渊;王朋设计研发完成，并于2023-02-21向国家知识产权局提交的专利申请。

本一种基于单模态和多模态联合训练的情感分析方法及系统在说明书摘要公布了：本发明公开了一种基于单模态和多模态联合训练的情感分析方法及系统，涉及多模态情感分析技术领域。为了兼顾多模态的交互和独立，本发明提出了一种名为JTUM的融合策略，该策略包含了三个单模态任务和多模态任务。在单模态任务中，使用单模态标签生成模块来获得独立的单模态监督，学习单模态表示。在多模态任务中，使用crossmodaltransformer来学习多模态序列之间的交互。最后，使用自注意力机制收集时间信息优化预测结果。本发明的方法既关注了单个模态的特性，又关注了跨模态间的相互作用，提高了预测模型的鲁棒性能够获得更为准确的情感分析结果，为平台智能管理和兴趣推荐等大数据处理技术的应用提供了重要的技术辅助。

本发明授权一种基于单模态和多模态联合训练的情感分析方法及系统在权利要求书中公布了：1.一种基于单模态和多模态联合训练的情感分析方法，其特征在于，包括以下步骤： 获取视频片段，提取文本、音频和视觉三种模态；对三种模态分别进行编码得到单独的特征向量表示； 针对模态的独立性和交互性分别建立单模态任务和多模态任务; 将三种模态的特征向量输入单模态任务获得每个模态的单模态标签； 将三种模态的特征向量输入多模态任务进行两两模态交互，得到三种跨模态交互后的模态表示； 利用三种跨模态交互后的模态表示结合自注意力机制输出多模态任务的预测结果； 在单模态标签和多模态标签的监督下联合训练单模态任务和多模态任务，将训练后多模态任务输出的预测结果作为情感分析的最终结果； 将三种模态的特征向量输入多模态任务进行两两模态交互，得到三种跨模态交互后的模态表示的具体步骤为： 将三种模态的特征向量通过全连接层对特征进行转换； 将转换后的特征向量表示输入crossmodaltransformer中获取跨模态之间的交互信息； 串联crossmodaltransformers的输出，得到三种跨模态交互后的模态表示，具体为： 其中，，，表示三种跨模态交互后的模态，a表示音频，t表示文本，v表示视觉；表示源模态a到目标模态t的第L层crossmodaltransformer输出，表示源模态v到目标模态t的第L层crossmodaltransformer输出；表示源模态a到目标模态v的第L层crossmodaltransformer输出，表示源模态t到目标模态v的第L层crossmodaltransformer输出；表示源模态t到目标模态a的第L层crossmodaltransformer输出，表示源模态t到目标模态a的第L层crossmodaltransformer输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东交通学院，其通讯地址为：250300 山东省济南市天桥区交校路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。