买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东海量信息技术研究院申请的专利一种视觉语言模型预训练方法及一种电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121330428B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511902975.8，技术领域涉及：G06V10/774；该发明授权一种视觉语言模型预训练方法及一种电子设备是由金良;杜国光;闫瑞栋;贾麒;徐聪;范宝余设计研发完成，并于2025-12-17向国家知识产权局提交的专利申请。

本一种视觉语言模型预训练方法及一种电子设备在说明书摘要公布了：本申请公开了一种视觉语言模型预训练方法及一种电子设备，涉及计算机技术领域，该方法包括：对输入图像进行编码得到第一图像编码，在第一图像编码中添加分类令牌、分类提示和图像提示得到第二图像编码；将第二图像编码输入自注意力层进行处理，通过注意力掩码机制约束分类提示与分类令牌进行交互、图像提示与第一图像编码对应的图像令牌进行交互得到第三图像编码；整合第二图像编码和第三图像编码得到第四图像编码，对第四图像编码进行归一化和残差连接得到第五图像编码，重复上述步骤得到目标图像编码；基于目标图像编码构建输入图像对应的视觉表征，基于文本编码和视觉表征计算损失对模型参数进行训练。本申请提升了视觉语言模型的预训练效果。

本发明授权一种视觉语言模型预训练方法及一种电子设备在权利要求书中公布了：1.一种视觉语言模型预训练方法，其特征在于，包括： 获取输入图像以及所述输入图像对应的输入文本； 对所述输入文本进行编码得到文本编码； 对所述输入图像进行编码得到第一图像编码，在所述第一图像编码中添加分类令牌、分类提示和图像提示得到第二图像编码；其中，所述分类提示用于引导全局语义聚合，所述图像提示用于引导局部特征提取； 将所述第二图像编码输入自注意力层进行处理，在所述自注意力层中，通过注意力掩码机制约束所述分类提示与所述分类令牌进行交互，并约束所述图像提示与所述第一图像编码对应的图像令牌进行交互，得到第三图像编码； 整合所述第二图像编码和所述第三图像编码得到第四图像编码，对所述第四图像编码进行归一化和残差连接得到第五图像编码，将所述第五图像编码作为所述第二图像编码重新进入将所述第二图像编码输入自注意力层进行处理的步骤，直至满足预设条件得到目标图像编码； 基于所述目标图像编码构建所述输入图像对应的视觉表征，基于所述文本编码和所述视觉表征计算损失； 基于所述损失对视觉语言模型的模型参数进行训练，训练完成的视觉语言模型用于执行视觉问答任务； 其中，将所述第二图像编码输入自注意力层进行处理，在所述自注意力层中，通过注意力掩码机制约束所述分类提示与所述分类令牌进行交互，并约束所述图像提示与所述第一图像编码对应的图像令牌进行交互，得到第三图像编码，包括： 将所述第二图像编码输入自注意力层进行处理，在所述自注意力层中，对所述第二图像编码进行线性映射得到查询向量、键向量和值向量； 基于所述查询向量和所述键向量计算原始注意力分数； 计算所述分类提示与所述分类令牌之间的第一掩码矩阵； 在所述第一掩码矩阵中添加所述图像提示与所述图像令牌的交互得到第二掩码矩阵； 在所述原始注意力分数中添加所述第二掩码矩阵得到掩码后的注意力分数； 对所述掩码后的注意力分数进行归一化处理生成注意力权重； 利用所述注意力权重对所述值向量进行加权聚合得到第三图像编码； 其中，整合所述第二图像编码和所述第三图像编码得到第四图像编码，包括： 从所述第二图像编码中提取所述分类令牌和所述图像令牌得到第六图像编码； 对所述第三图像编码依次进行归一化处理和正则化处理第七图像编码； 采用残差结构连接所述第六图像编码和所述第七图像编码得到第四图像编码。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东海量信息技术研究院，其通讯地址为：250000 山东省济南市高新技术开发区国家信息通信国际创新园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。