中国人民解放军战略支援部队信息工程大学张添植获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国人民解放军战略支援部队信息工程大学申请的专利基于文本和图像门控融合机制的多模态方面级情感分析方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117131433B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310905428.X,技术领域涉及:G06F18/2415;该发明授权基于文本和图像门控融合机制的多模态方面级情感分析方法是由张添植;周刚;刘洪波;刘铄;陈静设计研发完成,并于2023-07-18向国家知识产权局提交的专利申请。
本基于文本和图像门控融合机制的多模态方面级情感分析方法在说明书摘要公布了:本发明属于多模态方面级情感分析技术领域,公开一种基于文本和图像门控融合机制的多模态方面级情感分析方法,该方法在对文本和图像交互的同时引入了从数据集图像所提取的形容词‑名词对ANPs中形容词的加权作为图像辅助信息,并且在最后的特征融合阶段通过构建一种动态控制图像和图像辅助信息输入的门控机制实现多模态特征融合。实验结果表明,本发明方法在两个基于多模态方面级情感分析的Twitter数据集上取得了具有竞争力的结果,进而验证了我们所提出方法的有效性。
本发明授权基于文本和图像门控融合机制的多模态方面级情感分析方法在权利要求书中公布了:1.一种基于文本和图像门控融合机制的多模态方面级情感分析方法,其特征在于,包括: 步骤1:通过采用语言和图像两类预训练模型分别对单模态的文本和图像特征进行提取,获得方面实体表示和图像的特征表示; 步骤2:根据获得的方面实体表示和图像的特征表示,通过引入多模态交互层获得方面实体感知的图像表示; 步骤3:引入DeepSentiBank对图像所提取的形容词‑名词对,从另一个层面生成图像的语义表示,获得方面实体的图像辅助信息表示; 步骤4:将获得的方面实体表示、方面实体感知的图像表示以及方面实体的图像辅助信息表示通过进行融合获得方面实体的最终表示,进而实现情感预测; 所述步骤4包括: 首先将方面实体表示HT和方面实体感知的图像表示HT→V进行拼接,通过线性变换和非线性激活函数构建动态控制图像信息输入的门控机制: gT→V=σWT→V[HT;HT→V]其中WT→V∈Rd*2d是可学习线性变换参数,σ是使用点乘的非线性激活函数,其用于将门控的输出控制在[0,1]的范围内; 使用上述构建方法获得动态控制图像辅助信息输入的门控机制: gT→A=σWT→A[HT;HT→A]其中WT→A∈Rd*2d是可学习线性变换参数,HT→A是方面实体的图像辅助信息表示; 接着,将图像、图像辅助信息的门控生成值分别与方面实体感知的图像表示、方面实体的图像辅助信息表示进行对应元素相乘,实现以文本中的单词级力度动态控制图像和图像辅助信息的输入;然后,将上述表示进行拼接并送入基于Transformer的多模态自注意力层实现模态间的特征融合: H=TransformerHT;gT→VHT→V;gT→AHT→A最后,将多模态特征融合表示H的第一个token表示H0送入softmax层,进而获得最终的情感标签: Py|H=softmaxWH0其中W是可学习线性变换参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国人民解放军战略支援部队信息工程大学,其通讯地址为:450000 河南省郑州市高新区科学大道62号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励