买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于跨模态协同学习的视频生成方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120835216B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511324520.2，技术领域涉及：H04N23/95；该发明授权一种基于跨模态协同学习的视频生成方法及系统是由王心尧;杨晓达;赵洲设计研发完成，并于2025-09-17向国家知识产权局提交的专利申请。

本一种基于跨模态协同学习的视频生成方法及系统在说明书摘要公布了：本发明公开了一种基于跨模态协同学习的视频生成方法及系统，属于视频生成与多模态数据处理领域。接收多模态输入并提取多模态特征；通过改进的条件扩散模型处理多模态特征，生成视频序列；改进的条件扩散模型的每一个DiT块中包括并列设置的相机感知注意力模块和解耦交叉注意力模块，两个注意力模块均输入由图像序列潜变量处理后得到的视频潜特征，输出加权后代替原始条件扩散模型中的交叉注意力模块的输出；采用低秩自适应技术对改进的条件扩散模型进行轻量化微调，并在训练过程中引入多阶段课程学习策略。实验结果表明，本发明在多任务视频生成中表现出优异性能，能够实现高质量、精细化的场景主体和摄像机运动联合控制。

本发明授权一种基于跨模态协同学习的视频生成方法及系统在权利要求书中公布了：1.一种基于跨模态协同学习的视频生成方法，其特征在于，包括以下步骤： 1接收多模态输入并提取多模态特征，所述多模态输入包括目标图像、文本提示和相机运动轨迹信息，多模态特征包括基于目标图像提取的图像序列潜变量和全局视觉特征、基于文本提示提取的全局语义特征、以及基于相机运动轨迹信息提取的相机嵌入； 2通过改进的条件扩散模型处理多模态特征，生成视频序列；所述改进的条件扩散模型的每一个DiT块中包括并列设置的相机感知注意力模块和解耦交叉注意力模块，两个注意力模块均输入由图像序列潜变量处理后得到的视频潜特征； 并且，在相机感知注意力模块中，通过并行的跨帧关联路径与帧内控制路径将相机嵌入动态注入视频潜特征，两路径生成结果融合作为相机感知注意力模块的输出；在解耦交叉注意力模块中，单独计算全局视觉特征与视频潜特征的第一交叉注意力结果，以及全局语义特征与视频潜特征的第二交叉注意力结果，两个交叉注意力结果融合后作为解耦交叉注意力模块的输出； 相机感知注意力模块和解耦交叉注意力模块的输出结果加权后代替原始条件扩散模型中的交叉注意力模块的输出； 3采用低秩自适应技术对改进的条件扩散模型进行轻量化微调，并在训练过程中引入多阶段课程学习策略，分阶段学习场景主体运动、独立相机运动及二者联合控制。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。