上海人工智能创新中心曾艳红获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海人工智能创新中心申请的专利基于文本提示词和图像驱动的内容生成方法、设备、介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117911584B 。
龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311759693.8,技术领域涉及:G06T11/60;该发明授权基于文本提示词和图像驱动的内容生成方法、设备、介质是由曾艳红;张倚铭;邢哲宁;方友清;陈恺设计研发完成,并于2023-12-20向国家知识产权局提交的专利申请。
本基于文本提示词和图像驱动的内容生成方法、设备、介质在说明书摘要公布了:本发明涉及一种基于文本提示词和图像驱动的内容生成方法、设备、介质,一方面,本发明对图像驱动任务构建了一个条件编码模块,该模块能够兼容现有的文本生成图像、文本生成视频模型,以条件帧和帧间一致性为输入,能更好编码和保留条件帧的细节;另一方面,本发明对训练数据集的扩充,除了条件帧、目标条件帧,该数据集还包含了条件帧和目标条件帧的帧间一致性,该发明能够有效提高生成视频的稳定性和可控性;最后,针对图像驱动模型的训练策略,将动作过快或静止的数据映射到特定的输入区间,通过在推理时回避该输入区间以获得高质量的生成结果,同时,训练结束后,可以通过调整输入的帧间一致性数值来控制生成视频中动效的剧烈程度。
本发明授权基于文本提示词和图像驱动的内容生成方法、设备、介质在权利要求书中公布了:1.一种基于文本提示词和图像驱动的内容生成方法,其特征在于,基于给定的文本提示词和给定的图像,利用预训练好的图像驱动模型生成视频,所述图像驱动模型的训练过程包括如下步骤: 获取包括输入文本、给定条件帧、目标视频帧序列和帧间一致性编码的样本,其中,基于所述给定条件帧和所述目标视频帧序列计算所述帧间一致性编码; 对所述给定条件帧进行编码,得到图像编码,基于所述图像编码和所述帧间一致性编码,通过条件编码得到条件帧特征; 初始化噪声帧,通过特征提取得到噪声特征; 基于所述条件帧特征、所述噪声特征和所述输入文本,得到输出编码并进行去噪,作为新的噪声帧,完成本轮迭代,重复本步骤进行多次迭代; 基于多次迭代后的去噪后的输出编码,得到输出视频帧,基于所述目标视频帧序列和所述输出视频帧更新所述图像驱动模型的参数,完成针对所述样本的训练, 其中,利用条件编码模块实现条件编码,所述条件编码模块插在文本生成视频模型的第一层,所述条件编码模块包括结构为4×3×3×320的一层卷积层,所述条件编码模块利用320个尺寸为4×3×3的卷积核对通道数为4的输入进行条件编码,得到和输入同样尺寸大小且通道数为320的条件编码。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海人工智能创新中心,其通讯地址为:200232 上海市徐汇区云锦路701号37、38层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。