买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119962547B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510035739.4，技术领域涉及：G06F40/58；该发明授权一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法是由赵铁军;宋宇宸;曹海龙;陈安东;徐冰;朱聪慧;杨沐昀设计研发完成，并于2025-01-09向国家知识产权局提交的专利申请。

本一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法在说明书摘要公布了：一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法，属于人工智能技术领域。为优化多模态机器翻译方法的图像生成质量，本发明包括人工设置待翻译句子，构建训练集1；应用文字处理库处理训练集1中的待翻译句子得到文字三元组，将训练集1中的待翻译句子输入图像生成模型生成图片后利用图像三元组提取模型处理得到图像三元组，应用两组三元组的距离性质对图像生成模型进行训练得到训练好的图像生成模型；将训练集1中的待翻译句子输入到训练好的图像生成模型待翻译句子对应生成图像进行编码处理，然后和对应的待翻译句子进行拼接后，构建训练集2，利用训练集2对大语言模型进行训练，优化大语言模型的多模态机器翻译性能。

本发明授权一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法在权利要求书中公布了：1.一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法，其特征在于，包括如下步骤： S1.人工设置待翻译句子，构建训练集1； S2.对步骤S1得到的训练集1，应用文字处理库处理训练集1中的待翻译句子得到文字三元组，将训练集1中的待翻译句子输入图像生成模型生成图片后利用图像三元组提取模型处理得到图像三元组，然后应用两组三元组的距离性质对图像生成模型进行训练，得到训练好的图像生成模型； 步骤S2的具体实现方法包括如下步骤： S2.1.应用文字处理库处理训练集1中的待翻译句子x，迭代训练集1中的每个数据，根据语法关系提取待翻译语言句子中的动词、名词，对待翻译语言句子进行处理，提取文字三元组集合LSG＝hl1,rl1,tl1,hl2,rl2,tl2,…,hln,rln,tln，其中，hln为文字三元组集合中的第n个头实体，rln为文字三元组集合中的第n个关系，tln为文字三元组集合中的第n个尾实体； S2.2.将训练集1中的待翻译句子输入图像生成模型生成图片，所述图像生成模型为StableDiffusion模型，自动生成待翻译句子的对应图片I； S2.3.将步骤S2.2得到的图片I输入到图像三元组提取模型中，自动得到图像三元组集合VSG＝hv1,rv1,tv1,hv2,rv2,tv2,…,hvm,rvm,tvm，其中hvm为图像三元组集合中的第m个头实体，rvm为图像三元组集合中的第m个关系，tvm为图像三元组集合中的第m个尾实体； S2.4.计算步骤S2.1得到的文字三元组集合的成员和步骤S2.4得到的图像三元组集合的距离，作为数据的图像生成得分Simx,I，具体公式为： 其中，Score是文字三元组集合的成员与图像三元组集合相似度的得分函数； Score的具体计算方法为： ScoreLSGi,VSG＝maxDLSGi,VSG1,…,DLSGi,VSGm 其中，D为三元组相似度函数， D的具体计算方法为： 其中，SIM是计算自然语言单词距离的函数； S2.5.对步骤S2.4得到的图像生成得分作为模型的表现得分，应用DDPO训练方法，对图像生成模型进行优化，优化公式为： 其中，θ是StableDiffusion模型的参数，JDDPOθ是StableDiffusion模型参数的优化目标，rx,I是人工设置的奖励函数，用于量化待翻译句子x和与之对应的图片I的匹配度，是指当待翻译句子x满足给定参数θ、给定文本条件c的概率分布pθx|c，并且图片I满足图片自有的概率分布pI时，奖励函数的似然估计期望； S3.将步骤S1得到的训练集1中的待翻译句子输入到步骤S2中训练好的图像生成模型，得到待翻译句子对应生成图像； S4.将步骤S3得到的待翻译句子对应生成图像进行编码处理，然后和对应的待翻译句子进行拼接后，构建训练集2，利用训练集2对大语言模型进行训练，优化大语言模型的多模态机器翻译性能。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。