买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种基于小数据量微调的大语言模型对齐优化方法及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119293245B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411292104.4，技术领域涉及：G06F16/353；该发明授权一种基于小数据量微调的大语言模型对齐优化方法及存储介质是由谢涛;戴崑;李瑞峰;赵立军设计研发完成，并于2024-09-14向国家知识产权局提交的专利申请。

本一种基于小数据量微调的大语言模型对齐优化方法及存储介质在说明书摘要公布了：一种基于小数据量微调的大语言模型对齐优化方法及存储介质，本发明涉及基于小数据量微调的大语言模型对齐优化方法及存储介质。本发明的目的是为了解决现有大模型微调需要大量的标注数据、需要耗费大量的计算资源、需要更高的微调成本和开发时间的问题。过程为：1、构建针对特定目标任务的数据集，划分为两部分，一部分为微调数据集，一部分为对齐数据集；同时构建针对特定目标任务的问题数据集；2、得到微调模型；3、获得评判模型；4、将对齐数据集中问题输入微调模型，微调模型输出结果，计算微调模型输出结果与目标结果的相似度；将微调模型输出结果输入评判模型，评判模型输出评判结果；5、获取对齐优化后的目标模型。

本发明授权一种基于小数据量微调的大语言模型对齐优化方法及存储介质在权利要求书中公布了：1.一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述方法具体过程为： 步骤1：构建针对特定目标任务的数据集，将针对特定目标任务的数据集划分为两部分，一部分为微调数据集，一部分为对齐数据集； 同时构建针对特定目标任务的问题数据集； 步骤2：基于微调数据集采用LoRA对大语言模型进行微调，得到微调模型； 步骤3：基于步骤1中构建的问题数据集和步骤2获得的微调模型获取评判数据集； 通过评判数据集对大语言模型进行微调获得评判模型； 步骤4：将对齐数据集中问题输入步骤2的微调模型，微调模型输出结果，计算微调模型输出结果与目标结果的相似度； 将微调模型输出结果输入步骤3获得的评判模型，评判模型输出评判结果； 步骤5：计算步骤4得到的每个输出对应的文本相似度和评判结果的加权平均分值； 判断加权平均分值是否大于等于阈值； 如果是，则步骤2的微调模型为对齐优化后的目标模型； 如果不是，则依据加权平均后的部分进行择优，并构建新的微调数据集，重复执行步骤2、4、5直至获取对齐优化后的目标模型； 所述步骤3中基于步骤1中构建的问题数据集和步骤2获得的微调模型获取评判数据集； 通过评判数据集对大语言模型进行微调获得评判模型； 具体过程为： 步骤31：基于步骤13中构建的问题数据集和步骤2获得的微调模型获取初步的评判数据集； 步骤32：对步骤31获取的每个问题对应的初步的评判数据集进行打分，获得合理性分数和对齐分数，构建列表类型[answer,score1,score2]； 将每个问题对应的合理性分数和对齐分数相加作为最终评判结果；将每个问题对应的最终评判结果从高到低依次排序，构成1个完整的评判数据；直至构成所有问题对应的1个完整的评判数据集； 所述完整的评判数据集中存储列表input,output，output＝[answern,score1n,score2n]； 每个问题对应的n个回答，每个回答对应1个合理性分数以及1个对齐分数； 步骤33：基于步骤32获得的完整的评判数据集采用LoRA对大语言模型进行微调，获得评判模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。