买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利一种基于损失平衡训练的多模态视觉定位方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118196866B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410363325.X，技术领域涉及：G06V40/16；该发明授权一种基于损失平衡训练的多模态视觉定位方法是由柯逍;许培荣设计研发完成，并于2024-03-28向国家知识产权局提交的专利申请。

本一种基于损失平衡训练的多模态视觉定位方法在说明书摘要公布了：本发明涉及一种基于损失平衡训练的多模态视觉定位方法，包括以下步骤：步骤S1：将获取到的公开数据集中的文本描述和图像进行预处理，然后输入一致性衡量模块获得一致性分数和第一多模态特征；步骤S2：将第一多模态特征输入一致性迁移模块处理得到第二多模态特征；步骤S3：将第二多模态特征用于关联掩码解码器回归预测文本描述指代的物体在图像中的坐标包围框；步骤S4：在S1‑S3中级联成的神经网络中加入交叉熵损失和图文对比损失，并通过一致性分数平衡模型训练时损失，推理训练后的模型得到坐标包围框完成文本描述指代对象检测和定位。

本发明授权一种基于损失平衡训练的多模态视觉定位方法在权利要求书中公布了：1.一种基于损失平衡训练的多模态视觉定位方法，其特征在于，包括以下步骤： 步骤S1：将获取到的公开数据集中的文本描述和图像进行预处理，然后输入一致性衡量模块获得一致性分数和第一多模态特征； 步骤S2：将第一多模态特征输入一致性迁移模块处理得到第二多模态特征； 步骤S3：将第二多模态特征用于关联掩码解码器回归预测文本描述指代的物体在图像中的坐标包围框； 步骤S4：在步骤S1-步骤S3中级联成的神经网络中加入交叉熵损失和图文对比损失，并通过一致性分数平衡模型训练时损失，推理训练后的模型得到坐标包围框完成文本描述指代对象检测和定位； 所述步骤S1具体包括以下步骤： 步骤S11：获取公开数据集，将数据集中的三通道图像缩放到512×512大小并将通道展平；将数据集中文本进行分词并映射到词典中序号值，以此变为离散数据；通过以上预处理将图像和文本数据转为batch大小为n的tensor类型的图像文本对特征{In,Tn}batch，用于后续训练和推理； 步骤S12：一致性衡量模块采用CLIP管道编码得到第一多模态特征{fIn,fTn}，CLIP中采用92层CNN卷积作为图像编码器输出1024×1024大小的图像特征图，采用3层具有4个注意力头的Transformer作为文本编码器，具体的特征嵌入过程如下： {fIn,fTn}＝{FIn∣Θ,RTn∣Θ} 其中F,R分别为CLIP的图像和文本特征抽取器，编码器被CLIP预训练权重Θ初始化，Θ表示图像特征抽取器参数被冻结；其中{fIn,fTn}表示为嵌入CLIP空间的图像文本对的第一多模态特征；同时，通过CLIP管道定义特征一致性分数Sn计算过程如下： Sn＝{h11,h22,…,hNN|hfIn,fTn} 其中，h·表示CLIP采用的余弦相似性度量的指数，μ,ν分别表示通过函数h·的图像特征和文本特征，T表示矩阵转置符号，h11,h22,…,hNN分别表示第1个、第2个…第N个样本的图像和文本特征通过h·的得到相似性度量值，Sn表示每个图文对的模态一致性分数的集合，τ是超参数； 所述步骤S4具体包括以下步骤： 步骤S41：将S1-S3中设计的CLIP模块、一致性迁移模块、关联掩码解码器模模块级联成端到端神经网络； 步骤S42：在S41中级联成的神经网络中加入交叉熵损失Lbbox； 其中，Pt，Bt分别表示预测概率和真实概率； 步骤S43：通过调制函数将实例匹配得分Sn调制成模态一致性权重ωSn，然后将每个实例权重和任务损失相乘来动态地调整每个实例的损失，对不一致实例的损失值进行惩罚，过程如下： Lins-Task＝ωSn·Lbbox ω·表示一致性权重调制函数，其中α,β,γ为超参数； 步骤S44：再次根据模态一致性权重为每个实例施加不同程度的图文对比损失约束Lins-ITC来弥补被惩罚掉的损失，公式如下： 其中fIn,fTn为第一多模态特征，q∈{fIn,fTn}表示第一模态特征中的一个特征； 因此，我们的整体损失函数如下： Lins-tans＝Lbbox+λ·Lins-ITC 其中λ表示Lins-ITC损失的超参数系数； 步骤S45：推理训练后的模型得到坐标包围框完成文本描述指代对象检测，预测目标包围框左上角和右下角坐标x1,y1,x2,y2。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。