买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华侨大学申请的专利基于分层交互对齐网络的多模态情感识别方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119848794B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510340474.9，技术领域涉及：G06F18/25；该发明授权基于分层交互对齐网络的多模态情感识别方法及装置是由龚鑫荣;付远康;杨楷翔;施一帆;曾焕强;林琦;朱建清设计研发完成，并于2025-03-21向国家知识产权局提交的专利申请。

本基于分层交互对齐网络的多模态情感识别方法及装置在说明书摘要公布了：本发明公开了一种基于分层交互对齐网络的多模态情感识别方法及装置，涉及数据处理领域，包括：构建多模态情感识别模型并利用层次表示分布对齐层对齐进行训练，得到经训练的多模态情感识别模型；获取目标域人群中的其中一个待识别人员的脑电数据与眼动数据对并输入到经训练的多模态情感识别模型，依次经过特征提取模块和分层自适应交互注意力模块，得到待识别人员对应的最终跨模态特征，待识别人员对应的最终跨模态特征和目标域数据对应的最终跨模态特征输入到少样本学习模块，得到待识别人员属于每个情感类别的概率值，选择概率值最大所对应的情感类别作为待识别人员的预测情感类别。本发明解决多模态情感识别中个体差异大、样本数量有限的问题。

本发明授权基于分层交互对齐网络的多模态情感识别方法及装置在权利要求书中公布了：1.一种基于分层交互对齐网络的多模态情感识别方法，其特征在于，包括以下步骤： 构建多模态情感识别模型和层次表示分布对齐层，所述多模态情感识别模型包括特征提取模块、分层自适应交互注意力模块和少样本学习模块，所述特征提取模块包括脑电子网络和眼动子网络，所述分层自适应交互注意力模块包括若干层依次连接的动态交互注意力层； 获取源域数据和目标域数据，所述源域数据包括源域人群的脑电数据与眼动数据对及其对应的真实情感类别标签，所述目标域数据包括目标域人群的脑电数据与眼动数据对；将所述源域数据中的脑电数据与眼动数据对和所述目标域数据中的脑电数据与眼动数据对分别输入到所述多模态情感识别模型，先经过所述特征提取模块中的脑电子网络和眼动子网络分别提取得到源域数据对应的脑电深度特征和眼动深度特征以及目标域数据对应的脑电深度特征和眼动深度特征；所述源域数据对应的脑电深度特征和眼动深度特征以及所述目标域数据对应的脑电深度特征和眼动深度特征分别输入到所述分层自适应交互注意力模块中，经过每一层动态交互注意力层，输出源域数据对应的每一层的跨模态特征和目标域数据对应的每一层的跨模态特征以及源域数据对应的最终跨模态特征和目标域数据对应的最终跨模态特征；所述源域数据对应的每一层的跨模态特征和目标域数据对应的每一层的跨模态特征输入到所述层次表示分布对齐层中，计算得到多层最大平均差异损失函数；在所述源域数据抽取支持集和查询集，根据所述源域数据对应的最终跨模态特征确定所述支持集对应的最终跨模态特征和查询集对应的最终跨模态特征并输入到所述少样本学习模块中，得到所述查询集中每个查询样本属于每个情感类别的概率值，根据所述查询集中每个查询样本属于每个情感类别的概率值及其对应的真实情感类别标签计算交叉熵损失函数；基于所述多层最大平均差异损失函数和交叉熵损失函数构建总损失函数，采用所述总损失函数对所述多模态情感识别模型进行训练，得到经训练的多模态情感识别模型； 获取目标域人群中的其中一个待识别人员的脑电数据与眼动数据对并输入到所述经训练的多模态情感识别模型，依次经过所述特征提取模块和分层自适应交互注意力模块，得到所述待识别人员对应的最终跨模态特征，所述待识别人员对应的最终跨模态特征和所述目标域数据对应的最终跨模态特征输入到所述少样本学习模块，得到所述待识别人员属于每个情感类别的概率值，选择概率值最大所对应的情感类别作为所述待识别人员的预测情感类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华侨大学，其通讯地址为：362000 福建省泉州市丰泽区城东城华北路269号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。