买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京交通大学申请的专利一种基于多模态大模型的轨道缺陷检测方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120997487B 。

龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511520127.0，技术领域涉及：G06V10/25；该发明授权一种基于多模态大模型的轨道缺陷检测方法及装置是由李清勇;李天诚;吴雨婷;王雯;刘昊宇;张斌;张向伟设计研发完成，并于2025-10-23向国家知识产权局提交的专利申请。

本一种基于多模态大模型的轨道缺陷检测方法及装置在说明书摘要公布了：本发明公开一种基于多模态大模型的轨道缺陷检测方法及装置，涉及轨道检测技术领域。方法包括：基于轨道训练样本、待训练的基础多模态大模型以及扩散去噪解码器进行基于轨道知识的后训练微调处理，得到第一基础多模态大模型；基于轨道训练样本以及第一基础多模态大模型进行基于轨道多模态目标检测任务的冷启动监督微调，得到第二基础多模态大模型；基于轨道训练样本、第二基础多模态大模型以及GRPO算法进行基于轨道多模态目标检测任务的强化微调，得到训练好的轨道缺陷检测模型；将待检测的轨道图像输入到轨道缺陷检测模型中，得到对应的缺陷检测结果。采用本发明可以降低大模型的计算开销，提高检测效果，且检测结果更好解读。

本发明授权一种基于多模态大模型的轨道缺陷检测方法及装置在权利要求书中公布了：1.一种基于多模态大模型的轨道缺陷检测方法，其特征在于，所述方法包括： S1、获取轨道训练样本和待训练模型，所述待训练模型包括待训练的基础多模态大模型、扩散去噪解码器以及大模型目标检测模块； S2、基于轨道训练样本、待训练的基础多模态大模型以及扩散去噪解码器，对待训练的基础多模态大模型进行基于轨道知识的后训练微调处理，得到第一基础多模态大模型； 其中，所述基础多模态大模型包括CLIP视觉编码器、投影层、大语言模型以及解码器堆叠网络； 其中，所述S2包括：S21、将轨道缺陷样本图像输入到待训练的基础多模态大模型，得到预测文本响应和预测视觉输出； S211、将轨道缺陷样本图像输入到CLIP视觉编码器ViT，将轨道缺陷样本图像分成多个像素块，并通过多层由自注意力层和感知机组成的编码器模块前向传播，提取初始视觉特征； S212、将初始视觉特征经过投影层进行线性映射，得到对齐的视觉特征； S213、基于大语言模型对缺陷描述样本文本进行分词处理，得到序列token，经过嵌入层，根据序列Token生成文本嵌入特征； S214、将对齐的视觉特征与文本嵌入特征进行拼接，得到融合特征输入； S215、根据解码器堆叠网络将融合特征输入向前传播，经过一个线性层来预测下一个token，得到预测文本响应和预测视觉输出； S3、基于轨道训练样本以及第一基础多模态大模型，对第一基础多模态大模型进行基于轨道多模态目标检测任务的冷启动监督微调，得到第二基础多模态大模型； 其中，所述S3的基于轨道训练样本以及第一基础多模态大模型，对第一基础多模态大模型进行基于轨道多模态目标检测任务的冷启动监督微调，得到第二基础多模态大模型，包括： S31、当检测到大语言模型预测的下一个token是坐标时，将所述token在解码器堆叠网络的输出特征输入到边框回归层中，得到特征图像对应的预测坐标； S32、根据预测坐标与真实坐标标签差值的平均值，计算L1损失函数； S33、根据预测坐标与真实坐标标签的交集面积以及预测坐标与真实坐标标签的并集面积，计算IoU损失函数； S34、根据IoU损失函数、预测坐标与真实坐标标签，计算GIoU损失函数； S35、根据L1损失函数以及GIoU损失函数，计算Box损失函数； S36、根据第一损失函数、第二损失函数以及Box损失函数，计算冷启动监督微调损失函数，根据冷启动监督微调损失函数，进行基于轨道多模态目标检测任务的冷启动监督微调，将训练得到的模型确定为第二基础多模态大模型； S4、基于轨道训练样本、第二基础多模态大模型以及GRPO算法，对第二基础多模态大模型进行基于轨道多模态目标检测任务的强化微调，将得到的训练好的基础多模态大模型确定为轨道缺陷检测模型； S5、将待检测的轨道图像输入到轨道缺陷检测模型中，得到对应的缺陷检测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京交通大学，其通讯地址为：100044 北京市海淀区西直门外上园村3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。