浣江实验室同秦越获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浣江实验室申请的专利具备同时处理多个医学视觉语言任务能力的多模态大模型设计方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120597938B 。
龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511094000.7,技术领域涉及:G06N3/045;该发明授权具备同时处理多个医学视觉语言任务能力的多模态大模型设计方法及系统是由同秦越;卢子谦;陆哲明;郑阳明;崔家林;罗浩设计研发完成,并于2025-08-06向国家知识产权局提交的专利申请。
本具备同时处理多个医学视觉语言任务能力的多模态大模型设计方法及系统在说明书摘要公布了:本发明公开的是具备同时处理多个医学视觉语言任务能力的多模态大模型设计方法及系统,构建基准数据集MedVision‑MT,涵盖医学问答、放射影像报告生成等五项核心任务,经数据过滤和指令池设计提升数据质量,采用分阶段领域适配训练策略,先在自然图像数据集热身,再用MedVision‑MT迁移多任务能力到医学领域,第二阶段训练视觉编码器并提出多属性专家提示生成方法,模型系统包括基本模块和含图像编码、词汇嵌入等模块的网络结构,本发明解决医学领域多模态大模型数据、跨模态对齐等问题,提升任务泛化和应用能力,推动医学人工智能临床应用。
本发明授权具备同时处理多个医学视觉语言任务能力的多模态大模型设计方法及系统在权利要求书中公布了:1.具备同时处理多个医学视觉语言任务能力的多模态大模型系统,其特征在于:所述多模态大模型系统包括多任务端到端多模态医学大模型,所述多任务端到端多模态医学大模型包括基本模块、网络结构,所述网络结构包括通信连接的图像编码模块、词汇嵌入模块、线性投影层模块、大语言模型模块、多属性专家提示模块; 其中,图像编码模块支持图像模态输入,利用图像编码模块对输入图像进行特征编码;词汇嵌入模块支持文本模态输入,利用一个词汇嵌入模块对输入文本进行特征编码;线性投影层模块将图像模态特征与文本模态特征进行对齐; 大语言模型模块支持流畅的文本输出,利用大语言模型对输入的文本以及图像特征进行解码,得到最终的文本输出;多属性专家提示模块是基于MedVision-MT训练集的数据元组选择所有病理类别作为医学实体,以生成专家知识; MedVision-MT训练集包括五项核心任务:医学问答Med-VQA、放射影像报告生成RRG、疾病定位DL、临床诊断CD和局部临床诊断LCD; 每个医学实体设计了四个属性,具体包括形状[SHAPE]、尺寸[SIZE]、位置[LOCATION]和症状[SYMPTOM],并分别用A1、A2、A3、A4表示,其中,形状[SHAPE]、尺寸[SIZE]、位置[LOCATION]三个属性表示每个医学实体在对应图像中的低级信息,而最后一个属性症状[SYMPTOM]则表示高级信息; 为了获得专家级提示,利用大语言模型生成每个医学实体的关键属性,采用两种生成策略:视觉问答VQA和预测Pre;其中,在VQA方案中,查询模板设计为:“[医学实体]的[Ai]是什么”;而在Pre方案中,待预测的句子为:“[医学实体]的[Ai]是[MASK]”,其中,所述Ai是四个属性中任意一个;VQA查询的响应和[MASK]部分则分别代表通过这两种生成方案获得的关键属性值; 将两种生成策略应用于每个对象,得到一个属性池,每个实体中包含八个不同的属性值;最终形成的专家提示过程通过下述公式归纳: ; 公式中,VQA表示通过问答策略;χ表述输入图像;Q表述查询的问题;Pre表示通过预测策略;SAN表示对应不同的预测的句子;QA1至QAN:基于医学实体属性设计的查询问题,用于通过VQA策略获取医学图像中实体的属性信息,N为属性相关问题的数量;Pre表示通过预测策略,通过让模型预测医学实体属性相关文本中的掩码部分,来挖掘属性知识;SA1至SAN表示对应不同的预测的句子,N为属性相关文本数量对应;ExpertPrompt:最终生成的专家提示,用于向大语言模型输入,辅助模型理解医学图像中的专业知识和特征;Templaten:用于构建专家提示的模板,n可表示模板的编号或类型;X为采样数据;Objectk:医学实体,即医学图像中涉及的对象,医学图像中涉及的对象包括病理类别、器官,k用于区分不同的医学实体。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浣江实验室,其通讯地址为:311800 浙江省绍兴市诸暨市文种路7号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励