浙江工业大学张聚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江工业大学申请的专利一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114782350B 。
龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210393464.8,技术领域涉及:G06T7/00;该发明授权一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法是由张聚;马栋;上官之博;姚信威;边林洁设计研发完成,并于2022-04-14向国家知识产权局提交的专利申请。
本一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法在说明书摘要公布了:本发明公开了一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法,涉及深度学习领域,本发明首先对数据集进行数据预处理和数据增广,然后构建网络模型,网络模型包括主干网络、混合上下文感知模块和全局注意力融合模块,图像进入网络模型,先经过主干网络进行编码,然后通过混合上下文感知模块感知全局和局部信息,最后通过注意力融合模块对多模态特征进行融合并输出图像。经过训练好的网络模型后,把待分割的二维磁共振脑瘤图像输入到训练好的模型,输出图像的分割结果。本专利能够训练有效的自动分割MRI脑瘤图像的网络模型,融合多模态特征,提高了分割精度,具有较高的应用价值和临床治疗的应用前景。
本发明授权一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法在权利要求书中公布了:1.一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法,其特征在于,包含以下步骤: 步骤1输入数据集; 输入MRI脑瘤图像数据集BraTS2021;BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列FLAIR四种模态; 输入待分割的二维多模态MRI脑瘤图像; 步骤2数据增广和数据预处理; 通过对数据集BraTS2021中的三维图像的冠状面进行切片,每个切片要同时获得它其他三种模态的对应位置的切片和分割切片,把切片图像改为4个通道,按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列FLAIR,得到的二维图像数据集记为2DBraTS2021;通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集,这个操作称之为数据增强,数据增强能够增加训练的数据量,提高深度神经网络模型的泛化能力,最后对所有数据进行归一化处理将图像强度值限定在一定的范围内,避免某些异常样本对训练造成不良影响; 步骤3构建网络模型; 构建分割模型BraTSegNet;分割模型包括一个主干网络和两个关键模块组成,即ResNet主干网络、混合上下文感知HybridContext-Aware模块,简称HCA模块,和全局注意融合DAF,DualAttentionFusion模块;主干网络从输入的CT图像中提取多层特征;然后,HCA模块对特征进行增强,然后将其输入DAF模块来预测分割图; 首先从主干网络的不同层级中提取多层次特征;然后,低级和高级特征都被输入HCA模块,通过扩大接受域进行增强;需要注意的是,低高级特征表示更接近主干网络的开始结束的特征,开始的特征即输入特征,结束的特征即输出特征;然后,使用三个DAF模块来进行特征融合来预测分割图;此外采用深度监督策略,对三个DAF模块的输出和最后一个HCA模块的输出进行监督;使用预训练过的ResNet50的前四层作为BraTSegNet的编码器;特征图的大小减半,两个相邻的残差块RB之间的通道数量增加了一倍; 3.1.构建HCA模块: HCA模块利用扩大的接受域利用更多的信息特征;一个HCA模块由4个并行分支组成,每个分支都由不同的卷积层组成;特别是,第三个分支利用了串联的不同扩张率的空洞卷积层,即混合空洞卷积,提供了来自不同接受域的丰富的多尺度特征;在融合了多尺度特征后,我们获得了更多的信息特征,提供了丰富的图像信息特征;数学上,HCA模块定义为 fHCA=ReLUConv3x3CatConv1×1fRB,Conv3×3fRB,fHDC+Conv1×1fRB1 fHDC=f3f2f1fRB2 其中fi表示扩张率为i、卷积核为3×3的空洞卷积单元;Catx表示连接操作;Conv1×1x和Conv3×3x分别表示卷积核大小为1×1和3×3的卷积单元;fRB表示从主干中提取的特征; 3.2.构建DAF模块: 为了融合HCA模块的丰富特征,提出了一种新的DAF模块;DAF模块利用高级特征生成的注意力权重图来增强低级特征,然后将增强的低级特征与高级特征融合;我们同时考虑了通道注意力和空间注意力机制,把通道注意力ChannelAttention模块,简称CA模块,和空间注意力SpatialAttention模块串联起来,在CA模块中使用平均池,在SA模块中使用最大池;高级特征经过CA模块和SA模块生成注意力权重图,然后增强低级特征;由经过上采样的高级特征和增强的低级特征的总和作为融合特征;数学上,将DAF模块定义为: 和代表第k级和第k+1级HCA模块提供的特征,k=1,2,3;符号*表示哈达玛积,即元素乘法;Deconv4×4x表示核大小为4×4的反卷积操作,它扩大了特征图的大小;WCA是特征经过CA模块后的注意权重矩阵,WSAx是SA模块的操作;ArgPoolx表示平均池化操作,MaxPoolx表示最大池化操作;σx表示Sigmoid激活函数; 3.3构建损失函数; 采用深度监督策略来设计损失函数;具体来说,在每个DAF模块和最后一个HCA模块中添加了监督,共4个,允许更好的梯度流和更有效的网络训练;对于每个监督,考虑两个损失,即二元交叉熵Binarycrossentropy损失,简称BCE损失,和骰子Dice损失;因此,总体损失被设计为 Loss=LBCE+LDice6 步骤4训练策略; 将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集;采用随机初始化和Adam优化算法;设置BatchSize,即一次训练所选取的样本数、epoch,即表示回合的意思,训练完所有的数据表示一回合,和合适的初始学习率和每次更新时学习率下降的值;BraTSegNet网络模型中采用反向传播算法BP算法对网络中的权重和偏置进行更新;训练迭代过程中利用步骤3.3所述损失函数进行参数的更新; 根据设置好的训练策略对BraTSegNet网络模型进行训练;首先将ImageNet上预训练的ResNet块参数加载到BraTSegNet网络模型对应的残差块中;然后,使用2DBraTS2021数据集对BraTSegNet网络模型进行训练;训练分割出整个肿瘤wholetumor,简称WT、肿瘤核心tumorcore,简称TC,和增强肿瘤区域enhancingtumor,简称ET; 步骤5评估指标; 评估指标如下所示: 骰子相似性系数DSC:DSC用于测量预测的脑瘤区域与事实脑瘤区域之间的相似性;DSC定义如下: 其中VS代表经过模型分割后的数据集,VT代表事实的分割数据;x表示基数计算的运算,它提供了一个集合中的元素的数量;根据此公式分别计算整个肿瘤WT、肿瘤核心TC和增强肿瘤区域ET的骰子相似性系数; 步骤6使用已训练好的网络模型; 保存已经训练好的网络模型,对待分割的二维多模态MRI脑瘤图像进行语义分割,最后得到已分割图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市拱墅区潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。