安徽工业大学刘恒获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉安徽工业大学申请的专利一种基于跨模态亲和力的小样本参考视频目标分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116258990B 。
龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310105942.5,技术领域涉及:G06V20/40;该发明授权一种基于跨模态亲和力的小样本参考视频目标分割方法是由刘恒;李光辉设计研发完成,并于2023-02-13向国家知识产权局提交的专利申请。
本一种基于跨模态亲和力的小样本参考视频目标分割方法在说明书摘要公布了:本发明公开了一种基于跨模态亲和力的小样本参考视频目标分割方法,主要解决现有方法需要依赖大量标注数据以及无法泛化到新的场景的问题。本发明主要包括以下步骤:制作小样本参考视频目标分割数据集;构建一个跨模态亲和力网络用于模型训练;基于构建的跨模态亲和力网络和制作的数据集对网络模型进行训练;根据学习得到的模型参数,输入视频帧序列和自然语言描述,得到分割结果。本发明方法设计科学合理,通过建立跨模特亲和力关系,有效提升了小样本参考视频目标分割的泛化性和精确度,在视频编辑和人机交互中有着广泛的应用前景。
本发明授权一种基于跨模态亲和力的小样本参考视频目标分割方法在权利要求书中公布了:1.一种基于跨模态亲和力的小样本参考视频目标分割方法,其特征在于,包括如下步骤: S1、利用现有的参考视频目标分割数据集,构建适合小样本参考视频目标分割任务的数据集; S2、构建一个跨模态亲和力网络用于模型训练; 构建的跨模态亲和力网络,以supportset和queryset两个集合的数据作为输入,首先经过权重共享的特征提取网络分别提取视觉特征和文本特征,特征提取网络采用包括顺次连接的多个卷积层、多个池化层、多个残差单元模块、单个全连接层的残差网络以及基于Transformer的大规模预训练文本模型;然后使用多头跨模态注意力机制分别融合supportset和queryset中的视觉特征和文本特征,融合之后的多模态特征用于计算queryset内部的自我亲和力,得到的自我亲和力特征与supportset的多模态特征计算亲和力关系得到更鲁棒的特征;最后,为了定位最相关的目标以及逐步解码特征,将得到的跨模态亲和力特征送入掩码生成模块,得到最终的分割掩码; 构建的跨模态亲和力网络分为四个模块,分别是: 多模态融合模块,将视觉特征和文本特征进行融合; 自我亲和力模块,用于计算queryset中的自我亲和力特征; 跨亲和力模块,用于计算queryset和supportset之间的跨亲和力特征; 掩码生成模块,用于生成最终的分割结果; S3、依据步骤S1制作的数据集来对步骤S2构建的网络进行训练,保存训练参数; S4、将视频帧序列和自然语言描述作为网络的输入,利用步骤S3学习得到的参数得到分割结果作为输出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人安徽工业大学,其通讯地址为:243071 安徽省马鞍山市经济技术开发区南区嘉善科技园2号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励