郑州轻工业大学朱颢东获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉郑州轻工业大学申请的专利基于多模态交叉注意力机制图文融合的情感分析方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116844179B 。
龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310848751.8,技术领域涉及:G06V30/413;该发明授权基于多模态交叉注意力机制图文融合的情感分析方法是由朱颢东;路延通;王建文;李展鹏;郭雅洁;李红婵设计研发完成,并于2023-07-11向国家知识产权局提交的专利申请。
本基于多模态交叉注意力机制图文融合的情感分析方法在说明书摘要公布了:本发明提供一种基于多模态交叉注意力机制图文融合的情感分析方法,获取待处理的文本和图像;将文本进行向量化,得到文本特征;将文本特征经过BiLSTM处理,获取含有情感词汇的上下文特征;获取图像的图像特征,使用CBAM注意力分别从空间和通道两个方面获取图像特征中情感特征区域特征;对提取到的上下文特征和情感特征区域特征,通过交叉注意力机制进行融合,得到经过交叉注意力融合后的交叉特征,根据得到的交叉特征以及分类器,进行情感分类,得出情感分析结果。相较于现有的单模态情感分析方法,以及其他融合多模态的情感分析过程,分析结果更加准确,效果更好。
本发明授权基于多模态交叉注意力机制图文融合的情感分析方法在权利要求书中公布了:1.一种基于多模态交叉注意力机制图文融合的情感分析方法,其特征在于,包括: 获取待处理的文本和图像; 将所述文本进行向量化,得到文本特征;将所述文本特征经过BiLSTM处理,获取含有情感词汇的上下文特征; 获取所述图像的图像特征,使用CBAM注意力分别从空间和通道两个方面获取图像特征中情感特征区域特征; 对提取到的所述上下文特征和情感特征区域特征,通过交叉注意力机制进行融合,得到经过交叉注意力融合后的交叉特征,根据得到的交叉特征以及分类器,进行情感分类,得出情感分析结果; 所述获取所述图像的图像特征,包括: 利用预训练的DenseNet121网络模型获取所述图像的图像特征; 设定:第i个图像经过DenseNet121网络模型中第j层卷积后得到的特征图为 其中C为通道数,H为特征图的长,W为特征图的宽; 所述使用CBAM注意力分别从空间和通道两个方面获取图像特征中情感特征区域特征,包括: 使用CBAM注意力获取第i个图像的第j个特征图的注意力权重计算方法如下式: 其中,McFij为第i个图片的第j个特征图的通道注意力权重;MsFij为第i个图片的第j个特征图的空间注意力权重; 通道注意权重McFij的计算公式如下: 其中,σ是Sigmoid激活函数;MLP的权重W0和W1为两个输入共享,ReLu激活函数后跟W0;AvgPool·为全局平均池化函数,计算每个特征图所有特征区域的平均值;MaxPool·为全局最大池化函数,计算每个特征图的最大特征值; 空间注意权重MsFij的计算公式如下: MsFij=σf7×7[AvgPoolFij,MaxPoolFij] 其中,[·]为连接操作;f7×7·代表卷积运算,卷积核大小为7×7;AvgPool·为平均池化函数,MaxPool·为最大池化函数; CBAM注意力特征图的计算公式如下: 其中,表示对应元素按位相乘; 经过卷积操作之后,得到每个图像关键区域特征映射向量I=[I1,I2,…,In]。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人郑州轻工业大学,其通讯地址为:450000 河南省郑州市高新技术产业开发区科学大道136号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。