买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种基于自适应注意力融合的联合多模态方面级情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117171303B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311201459.3，技术领域涉及：G06F16/334；该发明授权一种基于自适应注意力融合的联合多模态方面级情感分析方法是由郭军军;王子悦;余正涛设计研发完成，并于2023-09-18向国家知识产权局提交的专利申请。

本一种基于自适应注意力融合的联合多模态方面级情感分析方法在说明书摘要公布了：本发明公开基于自适应注意力融合的联合多模态方面级情感分析方法，由于文本和视觉模态之间内在的语义差距，将基于文本的生成式预训练模型转移到图文多模态情感分析任务中面临着挑战。为此本发明对图像文本对数据中分词后的文本进行嵌入得到词嵌入向量；利用目标检测模型从图像文本对数据每张输入图片中提取视觉特征；自适应图像到文本融合模块，将视觉特征融合到文本表示中；利用选择性融合模块基于文本表示筛选相关的区域特征；利用跨模态Mixup模块实现文本和图像之间的交互；利用视觉增强的BART模块在序列到序列模型中增强多模态信息的编码；本发明基于图像和文本的选择性融合机制，自适应地弥合文本和图像表示之间的语义差距。

本发明授权一种基于自适应注意力融合的联合多模态方面级情感分析方法在权利要求书中公布了：1.一种基于自适应注意力融合的联合多模态方面级情感分析方法，其特征在于，包括如下步骤： S1、使用预训练语言模型的嵌入层对图像文本对数据中分词后的文本进行嵌入得到词嵌入向量； S2、利用目标检测模型从图像文本对数据每张输入图片中提取出视觉特征； S3、自适应图像到文本融合模块，将视觉特征融合到文本表示中，通过多模态交互提高特征融合效果； S4、利用选择性融合模块基于文本表示筛选相关的区域特征，以提高情感分析性能； S5、利用跨模态Mixup模块实现文本和图像之间的交互，增强特征之间的语义联系； S6、利用视觉增强的BART模块在序列到序列模型中增强多模态信息的编码； 所述S3的具体实现包括： 通过使用多头自注意力层，通过对文本进行自注意力操作以捕捉文本的模内交互，该操作通过对附近单词的信息进行收集，表达为以下公式：E′＝NormE+ATTselfE； 其中，ATTself表示多头自注意力，文本特征被设置为查询键值矩阵，Norm表示归一化； 同时采用跨模态Transformer层，获得文本和视觉模态之间的跨模态交互，其中使用原始文本特征E作为query矩阵，将视觉特征R作为keyvalue矩阵，表示为以下公式：EX→V＝ATTcrossE,R； 其中，ATTcross表示跨模态注意力层；随后，将EX→V馈送至前馈网络FFN，然后跟随一个归一化层，以进一步增强文本表示，使用从E′添加的额外残余连接得到最终融合了视觉信息的文本表示，即增强的文本表示为：E″＝NormE′+FFNEX→V； 所述S4的具体实现包括： 通过交互式跨模态操作获得的增强文本表示，进一步旨在为文本过滤不相关的区域特征；本质上，选择性融合接收两个输入，一个是增强的文本表示E''，另一个是纯粹的视觉特征R； 其中，首先，将R和E”连接成一个双模态因子[R；E”]，并使用它们生成区域特征和文本特征之间相似性权重g的公式如下： g＝sigmoidLinear[R；E″] 其中，sigmoid表示Sigmoid非线性激活函数；随后，使用相似性权重来通过选择性滤波器获得与文本相关的区域特征计算方式为： 所述S5的具体实现包括： 通过线性插值一对训练样本，使训练数据呈线性行为，从而创建新的样本；合成样本生成方式如下： 其中，λ是用于平衡文本特征和视觉特征的标量，从Betaα,β分布中采样得到：λ～Beα,β； 其中，Be表示Beta分布，α和β是用于控制λ分布的超参数，将R′输出为包含多模态信息的视觉表示； 所述S6的具体实现包括： 在多模态BART编码器中，在跨模态Mixup模块输出的视觉特征前插入特殊标记img和img用于标识视觉特征的起始和结束位置，并将原始文本特征E与包含多模态信息的视觉表示R′作为多模态输出D'的输入： 其中表示拼接操作；之后将D′馈送到位置嵌入层以获取最终的多模态表示D″，表示为：D″＝DropoutNormPED′+D′； 其中D″∈RT+36×d，PE表示位置嵌入层；最后，将D″作为最终的多模态输入送入BART编码器； BART编码器输出表示为Hm，预测分布由Softmax和MLP计算得出：Pθ＝SoftmaxMLPHm，其中MLP为多层感知机。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650500 云南省昆明市呈贡区景明南路727号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。