浙江大学马骏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利基于预测校正和汇聚注意力transformer的多模态图像配准方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117173226B 。
龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311245570.2,技术领域涉及:G06T7/33;该发明授权基于预测校正和汇聚注意力transformer的多模态图像配准方法是由马骏;曹思源;张润民;童奕澄;左偲彤;俞贝楠;应佳成;张程浩;罗伦;沈会良;李军伟设计研发完成,并于2023-09-25向国家知识产权局提交的专利申请。
本基于预测校正和汇聚注意力transformer的多模态图像配准方法在说明书摘要公布了:本发明公开了一种基于预测校正和汇聚注意力transformer的多模态图像配准方法,该方法首先利用卷积神经网络对目标图像和源图像进行特征提取,再基于自注意力机制对所述目标图像源图像特征图进行自注意力特征修饰,并进一步基于交叉注意力机制预测残差配准参数;循环上述过程至设定次数,对残差配准参数累加得到最终配准参数,即可对源图像进行形变校正。本发明方法引入基于模型预测引导形变校正的迭代推理框架,提高模型的鲁棒能力,增强配准的精度。实验结果和分析证明了本发明所提出的基于预测校正和汇聚注意力transformer的多模态图像配准方法对于解决多模态图像配准问题的有效性和优越性。
本发明授权基于预测校正和汇聚注意力transformer的多模态图像配准方法在权利要求书中公布了:1.一种基于预测校正和汇聚注意力transformer的多模态图像配准方法,其特征在于,给定待配准的多模态图像对,所述多模态图像对包括目标图像和源图像;以目标图像为基准,利用预测配准参数对源图像进行形变校正;具体包括以下步骤: 1)首先分两路利用卷积神经网络对目标图像和源图像进行特征提取得到目标图像源图像特征图,然后基于自注意力机制对所述目标图像源图像特征图进行自注意力特征修饰,接着基于交叉注意力机制对自注意力特征修饰后的目标图像特征图和源图像特征图进行互注意力修饰,最后基于交叉注意力机制预测配准参数残差; 2)利用配准参数残差更新当前预测配准参数,然后利用当前预测配准参数对源图像进行形变校正;将形变校正后的源图像替代之前的源图像,继续执行步骤1),输出下一次配准参数残差; 3)执行步骤2)至预设迭代次数时停止,并输出最终预测配准参数; 4)利用最终输出的预测配准参数对源图像进行形变校正,从而实现多模态图像配准; 所述步骤1)中,基于自注意力机制对所述目标图像源图像特征图进行自注意力特征修饰,接着基于交叉注意力机制对自注意力特征修饰后的目标图像特征图和源图像特征图进行互注意力修饰,最后基于交叉注意力机制预测配准参数残差,具体基于汇聚注意力transformer结构实现,具体步骤如下: S1:分两路利用自注意力机制对所抽取的特征进行不同坐标位置间的关联性计算,实现自注意力特征修饰;自注意力机制的计算见公式(1): , 其中,x为目标图像源图像特征图的坐标索引;依次为查询矩阵、键矩阵和值矩阵,通过利用全连接层处理目标图像源图像特征图获得;表示坐标位置周围的区域,即自注意力机制作用范围;如果将设为整个特征图,则为全局自注意力机制,否则为某一半径的非全局或局部自注意力机制;在迭代过程中,自注意力机制作用范围随迭代次数增加而缩小; 在完成自注意力机制计算后,使用层归一化方式处理自注意力机制计算后得到的注意力特征,并与经特征抽取得到的目标图像源图像特征图相加,完成自注意力的特征修饰; S2:利用交叉注意力机制对自注意力特征修饰后的目标图像特征图与源图像特征图进行不同坐标位置之间的关联性计算,交叉注意力机制的计算见公式(2): , 其中,下标和表示查询矩阵来自其中一幅特征图,而键矩阵和值矩阵来自另一幅特征图;表示交叉注意力机制在周围的区域,即交叉注意力机制作用范围;如果将设为整个特征图,则为全局交叉注意力机制,否则为某一半径的非全局或局部交叉注意力机制;在迭代过程中,交叉注意力机制作用范围随迭代次数增加而缩小; 在完成交叉注意力机制计算后,使用层归一化方式处理交叉注意力机制计算后得到的注意力特征,并与自注意力特征修饰后的目标图像源图像特征图相加,完成互注意力的特征修饰;然后利用全连接层处理互注意力修饰后的特征,并将全连接层处理后的特征与互注意力修饰后的特征相加,获得最终的自注意力和交叉注意力修饰目标图像源图像特征图; S3:配准参数残差预测;对于所述自注意力和交叉注意力修饰目标图像源图像特征图,利用公式(2)进行交叉注意力计算,将计算所得的交叉注意力输入全连接层,从而输出配准参数残差。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。