买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉有米科技股份有限公司申请的专利基于多模态关联数据的模型训练方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115240099B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210704027.3，技术领域涉及：G06V20/40；该发明授权基于多模态关联数据的模型训练方法及装置是由陈畅新;黄于晏;陈第设计研发完成，并于2022-06-21向国家知识产权局提交的专利申请。

本基于多模态关联数据的模型训练方法及装置在说明书摘要公布了：本发明公开了一种基于多模态关联数据的模型训练方法及装置，该方法包括：确定用于训练模型的训练视频和对应的至少一种模态的关联数据；将所述训练视频和所述关联数据输入视频重建预测模型进行训练，在训练中计算所述视频重建预测模型输出的预测视频和输入的所述训练视频之间的视频损失函数值，以及所述预测视频和输入的至少一个所述关联数据之间的模态损失函数值；根据所述视频损失函数值和所述模态损失函数值对所述视频重建预测模型的模型参数进行优化直至收敛，得到训练好的所述视频重建预测模型。可见，本发明能够在训练中使得模型学习到视频和关联数据之间的联系，进而能够使得最终训练得到的模型能够根据关联数据来修复甚至重建视频。

本发明授权基于多模态关联数据的模型训练方法及装置在权利要求书中公布了：1.一种基于多模态关联数据的模型训练方法，其特征在于，所述方法包括： 确定用于训练模型的训练视频； 确定所述训练视频对应的至少一种模态的关联数据，所述模态包括音频模态、文本模态和图像模态中的至少一种，所述关联数据包括描述音频数据、描述文本数据和表征图像数据中的至少一种； 将所述训练视频和所述关联数据输入视频重建预测模型进行训练，在训练中计算所述视频重建预测模型输出的预测视频和输入的所述训练视频之间的视频损失函数值，以及所述预测视频和输入的至少一个所述关联数据之间的模态损失函数值，所述视频重建预测模型包括视频重建网络和模态重构网络；所述视频重建网络用于接收所述训练视频和所述关联数据并重建出所述预测视频；所述模态重构网络用于提取出所述预测视频对应的所述模态的关联数据特征；所述关联数据特征用于和所述关联数据进行比对以计算所述模态损失函数值； 根据所述视频损失函数值和所述模态损失函数值对所述视频重建预测模型的模型参数进行优化直至收敛，得到训练好的所述视频重建预测模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人有米科技股份有限公司，其通讯地址为：510006 广东省广州市番禺区小谷围街青蓝街26号1701；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。