苏州元脑智能科技有限公司张泽茹获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉苏州元脑智能科技有限公司申请的专利训练方法、数据预测方法及装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120278282B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510748990.5,技术领域涉及:G06N5/04;该发明授权训练方法、数据预测方法及装置、电子设备及存储介质是由张泽茹设计研发完成,并于2025-06-06向国家知识产权局提交的专利申请。
本训练方法、数据预测方法及装置、电子设备及存储介质在说明书摘要公布了:本申请公开了一种训练方法、数据预测方法及装置、电子设备及存储介质,涉及数据推理技术领域。数据推理模型的训练方法包括将原始训练数据划分形成原始数据片段,在原始数据片段之间插入冗余噪声数据形成增强数据序列,以通过增加冗余信息延长数据样本的长度,并能够增加相邻的强关联关系的原始数据片段之间的距离,利用形成的增强数据序列对数据推理模型进行训练。如是,本申请能够解决数据推理效果不理想的技术问题,达到增强数据推理模型对长距离依赖的处理性能,以提高数据推理模型的鲁棒性的技术效果。
本发明授权训练方法、数据预测方法及装置、电子设备及存储介质在权利要求书中公布了:1.一种数据推理模型的训练方法,其特征在于,所述训练方法包括: 获取原始训练数据,划分其形成原始数据片段;所述原始训练数据包括文本; 获取冗余噪声数据,将其插入所述原始数据片段之间形成所述原始训练数据的增强数据序列; 将所述增强数据序列输入数据推理模型,获取所述数据推理模型的推理输出;利用所述推理输出对所述数据推理模型进行损失更新; 所述利用所述推理输出对所述数据推理模型进行损失更新包括: 评估所述推理输出与目标输出之间的第一预测损失; 利用所述原始数据片段之间的相似性与全局数据片段之间的相似性二者,融合训练温度系数形成第二预测损失; 利用预设加权因子对所述第二预测损失进行加权,将加权结果与所述第一预测损失进行叠加,得到训练损失函数; 利用所述训练损失函数对所述数据推理模型进行更新; 所述训练损失函数的表达公式为: L=Lntp+αLcontrastive 其中,L表示训练损失函数;Lntp表示推理输出与目标输出之间的第一预测损失,用来训练并扩展数据推理模型基础模型的上下文长度;α表示调节对比学习损失占比的超参数;Lcontrastive表示对比学习损失函数;T表示增强数据序列或原始训练数据内数据片段数量;q表示锚定块,可以认为是第一个CLS向量;k+表示原始数据片段即后续原始训练数据的向量;ki表示增强数据序列内第i个数据片段原始数据片段或冗余噪声数据;τ表示对比学习的温度系数,用于控制冗余噪声数据的区分度; 所述将所述增强数据序列输入数据推理模型之前还包括: 将所述原始训练数据划分形成原始数据块;其中,所述原始数据块包括至少一个所述原始数据片段; 对所述原始数据片段进行局部位置编码处理,以感知所述原始数据片段在其所属原始数据块的相对位置,得到局部编码; 对所述原始数据片段进行全局位置编码处理,以感知所述原始数据片段所属原始数据块在原始训练文档或增强数据序列的顺序编号,得到全局编码; 拟合所述局部编码以及所述全局编码,得到所述原始数据片段的层次位置编码; 层次位置编码的计算公式为: PEi=PElocalimodL+PEglobal[iL] 其中,第i个token的层次位置编码,token表示数据片段;mod表示求余函数;L表示数据块的token长度;PElocalimodL表示局部编码;PEglobal[iL]表示全局编码。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人苏州元脑智能科技有限公司,其通讯地址为:215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。