浪潮电子信息产业股份有限公司李辰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浪潮电子信息产业股份有限公司申请的专利一种文本推理方法、产品、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120851223B 。
龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511358507.9,技术领域涉及:G06N5/04;该发明授权一种文本推理方法、产品、设备及存储介质是由李辰;张新;姜金哲;赵雅倩;李仁刚设计研发完成,并于2025-09-23向国家知识产权局提交的专利申请。
本一种文本推理方法、产品、设备及存储介质在说明书摘要公布了:本申请公开了一种文本推理方法、产品、设备及存储介质,涉及计算机技术领域,包括:通过正交三角分解的方式并结合是否在微调数据集上训练过的判断机制,若预训练后的语言模型在微调数据集上训练过,则对待微调参数矩阵进行正交三角分解,并在微调数据集上对分解后得到的三角矩阵进行微调训练,得到微调后语言模型;若语言模型未在微调数据集上训练过,则以预设单位矩阵为起点对语言模型进行正交微调,得到微调后语言模型,并利用微调后语言模型进行文本推理,通过上述方式,提升了语言模型针对不同数据集的鲁棒性,进而提高了文本推理结果的准确度,同时,解决了传统预训练语言模型参数微调后鲁棒性不佳、性能下降的问题。
本发明授权一种文本推理方法、产品、设备及存储介质在权利要求书中公布了:1.一种文本推理方法,其特征在于,包括: 确定目标文本推理任务对应的预训练后的目标语言模型,并获取用于对所述目标语言模型进行微调的微调数据集;所述微调数据集为几何图像理解数据集、历史常识数据集、医疗问答数据集或代码生成数据集; 判断所述目标语言模型是否在所述微调数据集上训练过; 若所述目标语言模型在所述微调数据集上训练过,则确定所述目标语言模型中待微调的参数,以生成待微调参数矩阵,并对所述待微调参数矩阵进行正交三角分解,得到正交矩阵和三角矩阵; 在所述微调数据集中的训练集上对所述三角矩阵中的参数进行微调训练,以得到微调后语言模型; 若所述目标语言模型未在所述微调数据集上训练过,则以预设单位矩阵为起点对所述目标语言模型进行正交微调,得到微调后语言模型; 基于所述微调后语言模型对所述目标文本推理任务进行推理操作,得到文本推理结果; 所述在所述微调数据集中的训练集上对所述三角矩阵中的参数进行微调训练,以得到微调后语言模型,包括:在预设损失函数中添加包含所述三角矩阵的约束,得到目标损失函数;在所述微调数据集中的训练集上,利用所述目标损失函数对所述三角矩阵中的参数进行微调训练,得到微调后语言模型; 所述以预设单位矩阵为起点对所述目标语言模型进行正交微调,得到微调后语言模型,包括:利用所述目标损失函数并基于所述待微调参数矩阵,对预设单位矩阵中的参数进行正交微调,得到第一微调后矩阵;在所述微调数据集中的训练集上对所述第一微调后矩阵进行微调训练,得到微调后语言模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮电子信息产业股份有限公司,其通讯地址为:250000 山东省济南市高新区草山岭南路801号9层东侧;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励