哈尔滨工业大学赵铁军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学申请的专利一种基于提示优化的大语言模型机器翻译强化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120068892B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510107860.3,技术领域涉及:G06F40/58;该发明授权一种基于提示优化的大语言模型机器翻译强化方法是由赵铁军;徐冰;乔泓灏;杨沐昀;朱聪慧;曹海龙设计研发完成,并于2025-01-23向国家知识产权局提交的专利申请。
本一种基于提示优化的大语言模型机器翻译强化方法在说明书摘要公布了:本发明公开了一种基于提示优化的大语言模型机器翻译强化方法,属于机器翻译强化技术领域。解决了现有技术中传统的针对大语言模型的微调方法因难以提升模型性能导致模型翻译结果不准确的问题;本发明通过提示解码器对提示解码器进行预训练和微调,得到预训练和微调后的提示解码器,构建基于提示解码器的大语言模型;引入SVD‑LoRA方法,对基于提示解码器的大语言模型进行端到端训练,得到训练后的大语言模型;基于外部知识库,构建优化后的的机器翻译的提示,将优化后的的机器翻译的提示输入到训练后的大语言模型,得到目标端语句。本发明提升了大语言模型翻译性能,能够自动优化提示并缩短输入提示长度,可以应用于对大语言模型进行微调。
本发明授权一种基于提示优化的大语言模型机器翻译强化方法在权利要求书中公布了:1.一种基于提示优化的大语言模型机器翻译强化方法,其特征在于,包括以下步骤: S1.通过提示解码器对提示解码器进行预训练和微调,得到预训练和微调后的提示解码器,构建基于提示解码器的大语言模型; S2.引入SVD-LoRA方法,对基于提示解码器的大语言模型进行端到端训练,得到训练后的大语言模型; S3.基于外部知识库,构建优化后的机器翻译的提示,将优化后的机器翻译的提示输入到训练后的大语言模型,得到目标端语句; 所述S1中,具体包括以下步骤: S11.将文本输入提示编码器,借助提示解码器对提示编码器进行预训练,得到提示编码器的超参数及预训练后的提示编码器; S12.根据提示编码器的超参数,选择输入数据,对预训练后的提示编码器进行微调,得到微调后的提示编码器; 所述S11中,基于大语言模型的主体语言选用无监督的单语语料作为文本,对提示编码器进行预训练,根据提示编码器输出的长度为M的文本序列,通过提示解码器还原提示编码器输入端长度为N的文本序列,依据预训练过程中提示解码器还原文本序列的效果,确定超参数M的取值,使得提示编码器将长度为N的文本序列压缩至长度为M的文本序列; 所述S12中,以预训练阶段提示编码器的超参数M进行初始化,采用p-tuning的方式进行微调训练,在微调过程中,采用通用领域、不同任务的指令微调数据集输入到大语言模型,语种与提示编码器预训练阶段采用的语种对齐,将微调数据集中数据的指令文本作为连续化提示,大语言模型的输入数据和输出数据分别为平行语料的源端语句和平行语料的目标端语句,大语言模型的参数固定不变,可调参数为提示编码器的参数与连续化提示。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学,其通讯地址为:150001 黑龙江省哈尔滨市南岗区西大直街92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励