买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华侨大学申请的专利基于多层感知机融合的视频多模态情感分析方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120689802B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511124491.5，技术领域涉及：G06V20/40；该发明授权基于多层感知机融合的视频多模态情感分析方法及装置是由李弼程;黄艺杰;林煌设计研发完成，并于2025-08-12向国家知识产权局提交的专利申请。

本基于多层感知机融合的视频多模态情感分析方法及装置在说明书摘要公布了：发明公开了基于多层感知机融合的视频多模态情感分析方法及装置，涉及情感分析技术领域，方法包括：S1，提取视频中的文本特征、图像特征和音频特征；进行图像特征和音频特征中的时序信息提取得到时序图像特征和时序音频特征；S2，构建包括多模态特征捕捉模块、多层感知机融合模块和情感分类器的视频多模态情感分析模型，以模态间的模态相似性、模态异质性构建损失函数；S3，对模型进行训练；S4，将文本特征、时序图像特征和时序音频特征输入训练好的模型，得到情感极性概率分布。本发明通过构建相似性损失与异质性损失，使用多层感知机进行序列、通道和模态维度融合，降低了计算复杂度与内存消耗，提升了多模态情感特征的完整性与判别性能力。

本发明授权基于多层感知机融合的视频多模态情感分析方法及装置在权利要求书中公布了：1.一种基于多层感知机融合的视频多模态情感分析方法，其特征在于，包括如下步骤： S1，利用文本模型、图像模型和音频模型分别对视频中的文本、图像和音频数据进行特征提取，得到静态的文本特征、图像特征和音频特征；使用时序特征提取模型分别提取所述图像特征和所述音频特征中的时序信息，得到时序图像特征和时序音频特征； S2，构建包括多模态特征捕捉模块、多层感知机融合模块和情感分类器的视频多模态情感分析模型； 所述多模态特征捕捉模块，捕捉文本特征、时序图像特征和时序音频特征之间的相似性和异质性，得到包括文本相似性特征、文本异质性特征、图像相似性特征、图像异质性特征、音频相似性特征和音频异质性特征的模态情感特征； 所述多层感知机融合模块，对所有模态情感特征进行融合，得到融合后的多模态情感特征； 所述情感分类器，将融合后的多模态情感特征进行分类，输出情感极性概率分布； S3，基于总损失函数，使用标注数据对视频多模态情感分析模型进行训练，得到训练好的视频多模态情感分析模型；所述总损失函数包括根据模态相似性构建的相似性损失、根据模态异质性构建的异质性损失以及根据标注数据构建的分类损失； S4，将文本特征、时序图像特征和时序音频特征输入训练好的视频多模态情感分析模型，得到情感极性概率分布，实现视频情感预测； 所述总损失函数表示为： L＝Ltask+αLsim+βLdiff； 其中，Ltask表示分类损失；Lsim表示相似性损失；Ldiff表示异质性损失；α和β表示正则化权重系数 所述多层感知机融合模块使用多层感知机将所有模态情感特征依次从序列维度、通道维度和模态维度进行交互融合，得到融合后的多模态情感特征，具体如下： 将所有模态情感特征按照时间顺序排列为序列张量，使用序列向的多层感知机的序列轴融合单元对序列张量进行序列轴融合，输出序列融合特征；表示为： 其中，U*,m,d表示序列融合特征，*,m,d表示固定模态m和通道d对序列轴进行融合；LN表示层归一化；AffL表示全连接层；σ表示非线性激活；X*,m,d表示序列轴上的特征向量；M表示模态数；D表示通道数；L′表示融合后的序列数； 对序列融合特征进行通道维度的张量重构得到通道张量，使用通道向的多层感知机对通道张量进行通道轴融合，输出通道融合特征；表示为： 其中，Vl,m,*表示通道融合特征，l,m,*表示固定序列l和模态m对通道轴进行融合；Ul,m,*表示通道轴上的特征向量；D'表示融合后的通道数； 对通道融合特征进行模态维度的张量重构得到模态张量，使用模态向的多层感知机对模态张量进行模态轴融合，输出融合后的多模态情感特征；表示为： 其中，X′l,*,d表示融合后的多模态情感特征，l,*,d表示固定序列l和通道d对模态轴进行融合；Vl,*,d表示模态轴上的特征向量；M′表示融合后的模态数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华侨大学，其通讯地址为：362000 福建省泉州市丰泽区城东城华北路269号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。