买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种基于大模型与检索对比的小语种图片描述生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118823779B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410726500.7，技术领域涉及：G06V20/70；该发明授权一种基于大模型与检索对比的小语种图片描述生成方法是由李春锦;张晓松;张华平;李玉岗设计研发完成，并于2024-06-06向国家知识产权局提交的专利申请。

本一种基于大模型与检索对比的小语种图片描述生成方法在说明书摘要公布了：本发明涉及一种基于大语言模型与检索对比的小语种图片描述生成方法，属于图片和自然语言处理技术领域。首先构建大语种到小语种平行语料数据集，以及大语种和小语种图片描述对数据集。然后进行多语理解大语言模型训练。之后进行图像文本对齐，向量数据库检索生成提示。最后根据训练好的模型和生成的提示词生成描述。本方法直接使用大语言模型生成，无需经过翻译步骤，从而提高了生成效率。图片描述生成直接针对小语种展开，通过引入检索对比技术，进一步提升了生成质量和准确率。本方法使得小语种图片描述生成更为可行，为相关领域的研究和应用提供了有力的技术支持。

本发明授权一种基于大模型与检索对比的小语种图片描述生成方法在权利要求书中公布了：1.一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，包括以下步骤： 步骤1：构建大语种到小语种平行语料数据集，以及大语种和小语种图片描述对数据集； 步骤2：多语理解大语言模型训练； 利用步骤1中得到的平行语料数据集，使用微调技术对大语言模型进行训练，之后根据奖励模型进行强化学习增强模型的能力； 步骤3：图像文本对齐，包括以下步骤： 步骤3.1：大语种图像文本数据集预训练图像文本对齐网络； 图像文本对齐网络是一个编码器-解码器的结构；在图像文本对齐网络中，有三个学习任务，一是图像文本匹配，二是图文对比学习，三是图像生成文本；包括图像I、可学习参数Q、描述文本输入T，这三个是图像文本对齐网络的输入，在编码器中每层的输出为Z，看作是Q与I的交叉注意力融合； 在图像文本匹配任务中，需要判断图片和文本是否是一对；在训练的每个批处理batch中，构造出正负样本让模型学习，图像文本匹配的loss为其中表示图像文本匹配损失，E表示期望，D表示概率分布，yitm为真实标签，pitm为预测标签，H为交叉熵；在该任务中，使用双向自注意力机制，也就是Z和T互相观察到，图像能够学习文本信息，文本也能够学习图像信息； 在图文对比学习中，学习对齐图像表示和文本表示，以使它们的相互信息最大化；它通过对比正对与负对的图像文本相似性来实现；图像和文本的相似度，使用Z中每个向量和I的最大值作为相似度；图像-文本相似度pi2tI为： 其中，表示序号为m时的图像-文本相似度，s表示softmax函数，τ为可学习的温度系数，Tm表示序号为m时的文本数据；M表示序列长度； 文本-图像相似度pt2iT为： 其中，Zm表示序号为时的编码器输出； 图文对比学习的loss为： 其中，表示图文对比学习的损失；yi2t表示图像到文本的真值，值为0或1；yt2i表示图像到文本的真值，值为0或1；在这一任务中，文本和图像都是只能注意到自己的信息的单模态自注意力机制； 在图像生成描述任务中，就是训练模型生成描述，loss函数为： 其中，表示描述生成的损失，y为真实的输出文本，为前缀，为图像文本对齐网络的解码器的解码生成的描述；在这一任务中，使用的注意力机制是单向自注意力机制，解码当前文本，只能看到前面生成的文本和图像信息； 最后，预训练的loss为： 其中，表示预训练的损失； 步骤3.2：小语种图像文本数据集微调图像文本对齐网络； 首先，准备好步骤1中小语种图片描述对数据集和步骤2中训练得到的多语理解大语言模型，以及步骤3.1中图像文本对齐网络； 在微调任务中，将训练得到的图像文本对齐网络和多语理解大语言模型对齐，冻结多语理解大语言模型，利用小语种图片描述对数据集训练图像文本对齐网络，使其输出的向量经过全连接层之后，能够被多语理解大语言模型解码后输出为小语种描述； 步骤4：向量数据库检索生成提示； 步骤5：根据训练好的模型和生成的提示词，生成描述。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。