武汉学院杜维获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉武汉学院申请的专利一种基于多模态数据的模型训练方法、系统、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121479710B 。
龙图腾网通过国家知识产权局官网在2026-03-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610023876.0,技术领域涉及:G06F18/25;该发明授权一种基于多模态数据的模型训练方法、系统、设备及介质是由杜维;鲁圆圆;何璇;彭庆喜设计研发完成,并于2026-01-09向国家知识产权局提交的专利申请。
本一种基于多模态数据的模型训练方法、系统、设备及介质在说明书摘要公布了:本发明提供了一种基于多模态数据的模型训练方法、系统、设备及介质,属于人工智能技术领域,其方法包括:获取训练集中多模态数据的原始特征向量;多模态数据至少包括视频、文本和音频三种模态的原始数据;将所述原始特征向量输入至多模态融合模型以进行前向传播处理得到初步分类结果;从所述初步分类结果开始反向逐层计算至少一个层级的多模态融合特征的关联值;多模态融合特征包括初始融合特征;基于关联值对相应层级的多模态融合特征进行加权处理,得到加权融合特征;将各层级的加权融合特征重新输入至多模态融合模型中对应的后续层级,进行迭代训练得到最终的多模态融合模型。本发明有效提升了模型的准确率与泛化能力。
本发明授权一种基于多模态数据的模型训练方法、系统、设备及介质在权利要求书中公布了:1.一种基于多模态数据的模型训练方法,其特征在于,包括: 获取训练集中多模态数据的原始特征向量;所述多模态数据至少包括视频、文本和音频三种模态的原始数据; 将所述原始特征向量输入至多模态融合模型以进行前向传播处理得到初步分类结果;所述多模态融合模型包括依次连接的第一编码层、特征分解全连接层、第二编码层、第一全连接融合层和第二全连接融合层;所述初步分类结果由所述原始特征向量经共享与私有特征分解、拼接得到初始融合特征后,根据所述初始融合特征进行处理后得到; 所述将所述原始特征向量输入至多模态融合模型以进行前向传播处理得到初步分类结果,包括: 将各模态的原始特征分别输入所述第一编码层得到各模态的编码特征; 将各模态的编码特征输入所述特征分解全连接层,分解为各模态的共享特征和私有特征; 将各模态的共享特征和私有特征拼接形成初始融合特征; 基于所述初始融合特征依次经过所述第二编码层、所述第一全连接融合层和所述第二全连接融合层的前向传播处理,生成所述初步分类结果; 从所述初步分类结果开始反向逐层计算至少一个层级的多模态融合特征的关联值;所述多模态融合特征包括所述初始融合特征;所述至少一个层级包括所述第二编码层、所述第一全连接融合层和所述第二全连接融合层中的至少一个;所述从所述初步分类结果开始反向逐层计算至少一个层级的多模态融合特征的关联值,包括: 设定所述初步分类结果作为反向传播的初始关联值,其中L表示输出层; 从第L层开始至第1层,依次根据以下预设规则公式进行反向传播计算每一层的所述关联值: ; 其中,为第l+1层到第l层的第i个神经元与第j个神经元之间的关联值,为第l+1层第j个神经元的关联值,为第l层的第i个神经元的激活值,为第l+1层的第j个神经元在经过激活函数之前的净输入,为第l层的第i个神经元的激活值,为符号函数,为连接权重,为一个正平滑系数; 基于所述关联值对相应层级的所述多模态融合特征进行加权处理,得到加权融合特征; 将各层级的所述加权融合特征重新输入至所述多模态融合模型中对应的后续层级,进行迭代训练得到最终的多模态融合模型; 基于测试集评估并调整所述多模态融合模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人武汉学院,其通讯地址为:430000 湖北省武汉市江夏区黄家湖大道333号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励