买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国医学科学院医学信息研究所申请的专利一种基于RadFM的医学多模态模型的预训练方法、装置及相关产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119107540B 。

龙图腾网通过国家知识产权局官网在2026-03-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411332287.8，技术领域涉及：G06V10/82；该发明授权一种基于RadFM的医学多模态模型的预训练方法、装置及相关产品是由王序文;马鹤桐;郝洁;李姣设计研发完成，并于2024-09-24向国家知识产权局提交的专利申请。

本一种基于RadFM的医学多模态模型的预训练方法、装置及相关产品在说明书摘要公布了：本申请公开了一种基于RadFM的医学多模态模型的预训练方法、装置及相关产品。针对于每组训练数据，通过初始预训练模型对医学样本图像对应的图像视觉特征、图像局部特征和图像全局特征进行分阶段预测，获得医学样本图像对应的预测描述文本集，其中预测描述文本集中的一个预测描述文本对应一个阶段的预测结果；针对于多组训练数据，根据多个医学描述文本集和多个预测描述文本集的差异，调整初始预训练模型的参数，直至调整后的模型满足预训练截止条件，预训练结束获得医学多模态预训练模型。如此，本申请通过分阶段训练获得医学多模态预训练模型，可以使模型学习到图像的不同粒度信息，从而提高了模型预测的可解释性。

本发明授权一种基于RadFM的医学多模态模型的预训练方法、装置及相关产品在权利要求书中公布了：1.一种基于RadFM的医学多模态模型的预训练方法，其特征在于，包括： 获取医学多模态数据，其中所述医学多模态数据包括多组训练数据，每组训练数据包括医学样本图像和所述医学样本图像对应的医学描述文本集； 针对于每组训练数据，对所述医学样本图像进行颜色特征提取、纹理特征提取和形状特征提取，获得所述医学样本图像对应的图像视觉特征；基于FAST算法对所述医学样本图像进行局部特征提取，获得所述医学样本图像对应的图像局部特征；对所述医学样本图像进行全局特征提取，获得所述医学样本图像对应的图像全局特征； 针对于每组训练数据，通过初始预训练模型对所述医学样本图像对应的图像视觉特征、图像局部特征和图像全局特征进行分阶段预测，获得所述医学样本图像对应的预测描述文本集，包括： 在第一预测阶段，通过初始预训练模型对所述医学样本图像对应的图像视觉特征进行预测，获得所述医学样本图像对应的标签级描述文本； 在第二预测阶段，通过所述初始预训练模型对所述医学样本图像对应的图像局部特征进行预测，获得所述医学样本图像对应的短语级描述文本； 在第三预测阶段，通过所述初始预训练模型对所述医学样本图像对应的图像全局特征进行预测，获得所述医学样本图像对应的句子级描述文本； 将所述标签级描述文本、所述短语级描述文本和所述句子级描述文本，作为所述医学样本图像对应的预测描述文本集； 其中，所述标签级描述文本包括所述医学样本图像中存在异常对应的异常类别文本，所述短语级描述文本包括所述医学样本图像中存在异常对应的异常位置文本，所述句子级描述文本包括所述医学样本图像中存在异常对应的异常语义文本，所述预测描述文本集中的一个预测描述文本对应一个阶段的预测结果，所述初始预训练模型的骨干网络包括RadFM； 针对于所述多组训练数据，根据多个医学描述文本集和多个预测描述文本集的差异，调整所述初始预训练模型的参数，直至调整后的模型满足预训练截止条件，预训练结束获得医学多模态预训练模型；基于医学知识图谱对所述医学多模态预训练模型进行模型微调，获得微调后的医学多模态预训练模型； 在所述获取医学多模态数据之前，还包括： 获取目标训练数据和多个初始医学图像，其中所述目标训练数据包括目标医学图像和所述目标医学图像对应的目标描述文本集，所述多个初始医学图像通过生成对抗网络获得； 基于生成对抗网络，根据所述目标医学图像和所述目标描述文本集，对所述多个初始医学图像进行处理，获得所述多个初始医学图像分别对应的医学样本图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国医学科学院医学信息研究所，其通讯地址为：100020 北京市朝阳区雅宝路3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。