深圳市大数据研究院蔡智捷获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳市大数据研究院申请的专利模型训练方法、文本分类方法、装置、电子设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119848556B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510350975.5,技术领域涉及:G06F18/214;该发明授权模型训练方法、文本分类方法、装置、电子设备及介质是由蔡智捷;陈浩泷;朱光旭;张纵辉;史清江设计研发完成,并于2025-03-24向国家知识产权局提交的专利申请。
本模型训练方法、文本分类方法、装置、电子设备及介质在说明书摘要公布了:本申请实施例提供了一种模型训练方法、文本分类方法、装置、电子设备及介质,属于人工智能技术领域。该方法包括:在当前迭代轮次,将随机种子和投影参数分别加入种子队列和投影队列,依次从种子队列中获取一个目标随机种子,根据目标随机种子生成目标高斯伪随机向量,根据目标随机种子获取投影队列中的投影参数,得到目标投影参数,并将目标高斯伪随机向量和目标投影参数相乘,确定目标零阶梯度估计,根据预设学习率、预设动量参数、每个目标随机种子在种子队列中的位置标识和对应的目标零阶梯度估计对预设大语言模型的模型参数进行更新,直至当前迭代轮次达到预设迭代次数阈值,得到目标大语言模型,能够减少模型训练所需的内存空间。
本发明授权模型训练方法、文本分类方法、装置、电子设备及介质在权利要求书中公布了:1.一种模型训练方法,其特征在于,所述方法包括: 初始化种子队列和投影队列; 在当前迭代轮次,获取随机种子、自然语言文本以及所述自然语言文本的文本类别标签; 根据所述随机种子、所述自然语言文本和所述文本类别标签,确定预设大语言模型的投影参数; 将所述随机种子加入所述种子队列,将所述投影参数加入所述投影队列; 依次从所述种子队列中获取一个目标随机种子,根据所述目标随机种子生成目标高斯伪随机向量,根据所述目标随机种子获取所述投影队列中的投影参数,得到目标投影参数,并将所述目标高斯伪随机向量和所述目标投影参数相乘,确定目标零阶梯度估计; 针对每个迭代轮次,根据预设学习率、预设动量参数、每个所述目标随机种子在所述种子队列中的位置标识和对应的所述目标零阶梯度估计对所述预设大语言模型的模型参数进行更新,直至当前迭代轮次达到预设迭代次数阈值,得到目标大语言模型;其中,所述目标大语言模型用于对输入的目标文本进行文本分类; 所述根据预设学习率、预设动量参数、每个所述目标随机种子在所述种子队列中的位置标识和对应的所述目标零阶梯度估计对所述预设大语言模型的模型参数进行更新,直至当前迭代轮次达到预设迭代次数阈值,得到目标大语言模型,包括: 确定动量决策参数; 若所述动量决策参数指示使用动量变量对所述模型参数进行参数更新,则根据所述预设学习率、所述随机种子和所述投影参数对所述预设大语言模型的模型参数进行初步更新; 根据所述预设学习率、所述预设动量参数、每个所述目标随机种子在所述种子队列中的位置标识和对应的所述目标零阶梯度估计对初步更新后的所述模型参数进行再次更新,直至当前迭代轮次达到所述预设迭代次数阈值,得到所述目标大语言模型; 所述根据所述预设学习率、所述预设动量参数、每个所述目标随机种子在所述种子队列中的位置标识和对应的所述目标零阶梯度估计对初步更新后的所述模型参数进行再次更新,包括: 根据所述目标随机种子在所述种子队列中的位置标识确定所述预设动量参数的指数,对所述位置标识和所述预设动量参数进行指数计算,得到初始更新参数; 将所述预设学习率、所述初始更新参数和所述目标零阶梯度估计相乘,得到参考更新参数; 根据所述参考更新参数对初步更新后的所述模型参数进行再次更新。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳市大数据研究院,其通讯地址为:518172 广东省深圳市龙岗区龙城街道龙翔大道2001号道远楼225室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。