买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉连连银通电子支付有限公司;连连(杭州)信息技术有限公司申请的专利用于多语言任务的模型预训练方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119293514B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411831139.0，技术领域涉及：G06F18/214；该发明授权用于多语言任务的模型预训练方法和装置是由王愚;侯兴翠设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本用于多语言任务的模型预训练方法和装置在说明书摘要公布了：本申请提供了用于多语言任务的模型预训练方法和装置，涉及人工智能技术领域，方法包括：获取多模态训练数据集，训练数据集包括具有多语言内容的多个样本文本数据和多个样本图文对数据，涵盖通用领域和预设业务领域；基于多个样本图文对数据，对初始模型进行视觉特征和文本特征对齐的对比学习训练，在训练过程中冻结解码模块的模型参数并调整视觉编码器和投影模块的模型参数，至满足第一结束条件；基于多个样本图文对数据和多个样本文本数据，对满足第一结束条件的初始模型进行内容理解的约束训练，在训练过程中调整视觉编码器、投影模块和解码模块的模型参数，至满足第二结束条件得到目标模型；本申请能够显著提升模型在特定领域的信息提取能力。

本发明授权用于多语言任务的模型预训练方法和装置在权利要求书中公布了：1.一种用于多语言任务的模型预训练方法，其特征在于，所述方法包括： 获取多模态训练数据集和初始模型，所述训练数据集包括多个样本文本数据和多个样本图文对数据，所述多个样本图文对数据和所述多个样本文本数据包括多种语言内容，且所述多个样本图文对数据包括通用领域的样本图文对数据和目标场景中预设业务领域的样本图文对数据，所述多个样本文本数据包括所述预设业务领域的文本数据，所述初始模型包括依次连接的视觉编码器、投影模块和解码模块，所述解码模块是基于大语言模型构建的；所述目标场景为跨境业务场景，所述预设业务领域为多语言商务领域； 基于所述多个样本图文对数据，对所述初始模型进行视觉特征和文本特征对齐的对比学习训练，在训练过程中冻结所述解码模块的模型参数并调整所述视觉编码器和所述投影模块的模型参数，至满足第一结束条件； 基于所述多个样本图文对数据和所述多个样本文本数据，对满足所述第一结束条件的初始模型进行内容理解的约束训练，在训练过程中调整所述视觉编码器、所述投影模块和所述解码模块的模型参数，至满足第二结束条件；所述预设业务领域的样本图文对数据的类型基于图像中的文本量确定，包括文本量递增的第一类型、第二类型、第三类型和第四类型，所述第一类型的图像为无文本图像，所述第二类型的图像为稀疏文本图像，所述第三类型的图像为多文本图像，所述第四类型的图像为文本文档图像；所述视觉编码器包括特征抽取模块、特征融合模块和特征提取模块，所述特征抽取模块用于对所述图像进行自适应图像分割，得到所述图像对应的多个子图像；基于滑动窗口的自注意力机制对各所述子图像进行局部特征抽取，得到所述子图像对应的多尺度的特征图；所述特征融合模块用于融合所述多尺度的特征图以得到融合特征；所述特征提取模块包括门控网络、以及与多种所述类型匹配的多个专家网络，所述门控网络用于确定所述样本图文对数据的图像类型，每一专家网络用于处理不同文本量类型的图像的融合特征； 将满足所述第二结束条件的初始模型确定为目标模型；在训练过程中，结合所述预设业务领域对应的目标词库对所述预设业务领域的样本图文对数据中的文本和样本文本数据进行分词处理，以作为所述投影模块的输入。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人连连银通电子支付有限公司;连连(杭州)信息技术有限公司，其通讯地址为：310051 浙江省杭州市滨江区越达巷79号1号楼11楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。