买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利一种基于消化内镜的大型语言和视觉助手的辅助检查方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119092087B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411187730.7，技术领域涉及：G16H40/63；该发明授权一种基于消化内镜的大型语言和视觉助手的辅助检查方法是由韩军伟;姚洁茹;李薛然;谢强;韩龙飞;刘念;张鼎文设计研发完成，并于2024-08-28向国家知识产权局提交的专利申请。

本一种基于消化内镜的大型语言和视觉助手的辅助检查方法在说明书摘要公布了：本发明公开了一种基于消化内镜的大型语言和视觉助手的辅助检查方法，包括获取内窥镜检查病例的原始数据，并进行数据清洗和预处理；根据处理后的原始数据基于GPT辅助进行内窥镜视觉指令数据生成，得到内窥镜多模态指令追踪数据集；基于渐进式迁移学习方法，对构建的多模态大型语言模型进行微调训练，实现多模态大型语言模型和已有的预训练模型对内窥镜检查数据的知识迁移，同时避免灾难性遗忘；最终得到内窥镜多模态大型语言模型，并基于GPT‑4和人工进行评估。本发明能够在内窥镜检查中展现卓越优势，缓解数据匮乏难题，精准捕捉问诊意图，准确阐释医学术语，依托病灶图像推理，消除问诊模糊性，开创多模态大型模型在该领域应用先河。

本发明授权一种基于消化内镜的大型语言和视觉助手的辅助检查方法在权利要求书中公布了：1.一种基于消化内镜的大型语言和视觉助手的辅助检查方法，包括以下步骤： 步骤S1、获取内窥镜检查病例的原始数据，并进行数据清洗和预处理； 步骤S2、根据处理后的原始数据基于GPT辅助内窥镜视觉指令进行数据生成，得到多模态指令追踪内窥镜数据集，其具体步骤包括： 步骤S21、创建一组有关询问图像内容的问题，用于增强大语言模型描述内窥镜图像内容的能力； 步骤S22、对于每张内窥镜图像，随机选择一个问题作为语言指令，回答为步骤S21中清洗后的图像说明和简短结论，构造得到图像和其相应的说明文本的单轮对话数据集； 步骤S23、利用步骤S22中产生的有关内窥镜检查图像的单轮问答，使用纯语言大模型GPT-3.5-turbo，生成多轮指令遵循数据集，同时为数据集注入医学常识； 步骤S24、为带有病灶的内窥镜数据生成不同的多轮对话，用于减轻不平衡数据集引起的模型偏差； 步骤S3、构建多模态大型语言模型，所述模型的框架由视觉编码器、大语言模型，以及可训练的投影矩阵组成；基于渐进式迁移学习方法，将多模态大型语言模型和已有的预训练模型适应于内窥镜检查领域； 所述渐进式迁移学习具体步骤包括： 步骤S31、基于渐进式迁移学习方法，在第一阶段，利用LoRA结合来自LLaVA-Med中的公开生物医学数据集，建立一个强大的生物医学基线，包含医学常识和某些特定生物医学领域的专业知识，同时理解和生成连贯的多模态对话； 步骤S32、构建的内窥镜指令跟踪数据，利用相同的LoRA方法对第一阶段训练的模型在内窥镜的垂直专业领域进行微调； 步骤S33、将LoRA权重和部分未训练的权重进行融合得到最终模型权重； 步骤S4、根据得到多模态大型语言模型，使用GPT-4进行人工对模型回答的条理性，准确度进行评分，得到最终模型，并进行内窥镜辅助检查，其具体步骤包括： 步骤S41、从验证集中随机选择若干个图像，并使用所提出的数据生成管道生成对于病灶的详细对话； 构建的内窥镜多模型大预言模型根据问题和视觉输入图像预测答案；GPT-4根据问题和标题进行参考预测，作为教师模型的上限； 在获得两个模型的响应后，将问题、视觉信息以及两个模型生成的响应提供给GPT-4，GPT-4被要求给出总体评分； 步骤S42、根据专业知识和经验进行人工评分，要求对模型问答的条理性，准确度和相关性进行高质量、准确的评估，得到总体评分； 步骤S43、结合两种评估方式的得分进行平均，得到最终的评估分数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)，其通讯地址为：230000 安徽省合肥市高新区望江西路5089号, 中国科学技术大学先进技术研究院未来中心B1205-B1208；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。