四川大学陈虎获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉四川大学申请的专利基于多模态多粒度特征的胸部X光影像预训练方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118823515B 。
龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411073297.4,技术领域涉及:G06V10/774;该发明授权基于多模态多粒度特征的胸部X光影像预训练方法及系统是由陈虎;龚泽楠;刘洪;杨红雨设计研发完成,并于2024-08-06向国家知识产权局提交的专利申请。
本基于多模态多粒度特征的胸部X光影像预训练方法及系统在说明书摘要公布了:本发明涉及医学影像技术领域,具体涉及一种基于多模态多粒度特征的胸部X光影像预训练方法及系统。该方法包括:构建基于多模态多粒度特征的胸部X光影像数据集,数据集包括胸部X光影像和相关的放射学报告;利用预训练的FasterR‑CNN模型对影像进行解剖学部位的标注,并将放射学报告进行结构化处理,将文本信息与解剖学部位标注相关联;构建多模态多粒度特征提取与融合模型,通过基于Transformer的Beit和Bert模型分别提取图像和文本的粗粒度与细粒度特征,并通过基于双向注意力机制的网络融合这些特征;最后,训练所述模型,使用多种损失函数以优化模型性能,并进行系统测试。该方法旨在提高胸部X射线影像的自动化和智能化判断能力,增强医学诊断的准确性和效率。
本发明授权基于多模态多粒度特征的胸部X光影像预训练方法及系统在权利要求书中公布了:1.一种基于多模态多粒度特征的胸部X光影像预训练方法,其特征在于,包括以下步骤: S1、构建基于多模态多粒度特征的胸部X光影像数据集,进一步包括以下步骤: S11、获取MIMIC-CXR数据集;所述MIMIC-CXR数据集包括胸部X光影像和放射学报告; S121、使用预训练的FasterR-CNN模型对所述胸部X光影像进行分析,并标注所述胸部X光影像中的解剖学部位,获取解剖学部位标注; S122、对所述放射学报告进行结构化处理,获取结构化放射学报告;所述结构化放射学报告包括放射学报告中文本信息与所述解剖学部位标注的关联关系; S13、构建基于多模态多粒度特征的胸部X光影像数据集;所述基于多模态多粒度特征的胸部X光影像数据集具体包括所述胸部X光影像、所诉结构化放射学报告、所诉解剖学部位标注;所述胸部X光影像、所述放射学报告为粗粒度特征;所述解剖学部位标注、所述关联关系为细粒度特征; S2、构建多模态多粒度特征提取与融合模型,所述多模态多粒度特征提取与融合模型包括多模态多粒度特征提取子模型、多模态多粒度特征融合子模型;包括以下步骤: S21、对所述胸部X光影像进行图像预处理,获取图像输入序列; S22、提取多模态多粒度特征,具体包括:使用基于Transformer的Beit模型架构的粗粒度特征提取器提取所述图像输入序列的粗粒度特征;使用区域特征提取器提取所述图像输入序列的细粒度特征;使用基于Transformer的Bert模型提取所述文本数据的粗粒度特征和细粒度特征; S23、将所述多模态多粒度特征输入基于双向注意力机制的多模态多粒度特征融合网络,对每种模态生成查询、键和值矩阵,并计算模态间的自注意得分和交叉注意力得分;利用所述自注意得分和所述交叉注意力得分,迭代更新所述多模态多粒度特征; S3、使用多种损失函数预训练所述多模态多粒度特征提取与融合模型,优化多模态多粒度特征提取与融合模型参数;所述损失函数包括匹配损失函数、对比损失函数、掩码重建损失和边界框预测损失; 所述匹配损失函数用于衡量不同模态特征之间的关联关系; 所述对比损失函数用于区别不同类别或特征; 所述掩码重建损失用于在输入数据中部分信息被掩盖的情况下重建原始数据; 所述边界框预测损失用于目标检测任务; S4、测试并检验所述多模态多粒度特征的胸部X光影像预训练方法。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人四川大学,其通讯地址为:610065 四川省成都市一环路南一段24号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励