华南农业大学邱少健获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南农业大学申请的专利面向智慧养殖问答的模型温度自适应微调方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117951276B 。
龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410126688.1,技术领域涉及:G06N3/096;该发明授权面向智慧养殖问答的模型温度自适应微调方法是由邱少健;刘海洋;梁云;黄沛杰;林毅申;陈伟标;林海设计研发完成,并于2024-01-30向国家知识产权局提交的专利申请。
本面向智慧养殖问答的模型温度自适应微调方法在说明书摘要公布了:本发明公开了一种面向智慧养殖问答的模型温度自适应微调方法,包括下述步骤:基于预设的大语言模型对原始问答数据集进行处理,获取每个样本的创意程度评估值;基于每个样本的问句及其对应的创意程度评估值构建新的数据集;采用Bert模型对问句进行表示,采用处理后数据集对温度模型进行训练,以及对任务特定层进行训练;对不同任务下的新数据集进行LoRA参数微调,分别得到不同的任务的LoRA模块;使用任务感知自注意力调节层,将各个任务特定LoRA模块的输出进行特征融合。本发明利用任务感知自注意力调节层对不同任务的LoRA模块进行特征融合,利用其他任务LoRA模块的权重来提高当前任务的回答质量,可以促使模型学习到一些任务之间的相关性,从而提高性能。
本发明授权面向智慧养殖问答的模型温度自适应微调方法在权利要求书中公布了:1.面向智慧养殖问答的模型温度自适应微调方法,其特征在于,包括下述步骤: 基于预设的大语言模型对原始问答数据集进行处理,获取每个样本的创意程度评估值;基于每个样本的问句及其对应的创意程度评估值构建新的数据集; 采用Bert模型对问句进行表示,采用新的数据集对温度模型进行训练,以及对任务特定层进行训练;所述温度模型的目标是通过监督学习,使用处理后的数据集训练,使得温度模型能够通过学习数据中的模式,对文本进行创意性的评估;所述任务特定层在多个任务特定的LoRA模块经过任务感知自注意力调节后,根据问句选择其中一个神经元的输出; 对不同任务下的新数据集进行LoRA参数微调,分别得到不同的任务的LoRA模块; 使用任务感知自注意力调节层,将各个任务特定LoRA模块的输出进行特征融合; 所述基于预设的大语言模型对原始问答数据集进行处理,获取每个样本的创意程度,具体为: 基于预设的大语言模型对原始问答数据集中每一个样本进行分析,使用设定的提示词对大语言模型进行提问,得到大语言模型认为该样本的创意和保守程度; 所述创意程度评估值代表了大语言模型认为样本的创意和保守程度的评估,取值范围在0到1之间,其中0表示最保守的程度,1表示最具创意性的程度,中间的数值则表示介于创意和保守之间的某个权衡程度; 所述使用任务感知自注意力调节层,将各个任务特定LoRA模块的输出进行特征融合,具体为: 在训练之前,将针对不同任务LoRA模块的顺序与任务特定层针对不同任务的one-hot编码相对应; 为每个Encoder层使用一组独立的线性投影矩阵WQ,WK,WV,这些矩阵用于将各个LoRA模块的输出作为输入X映射到三个不同的子空间,从而得到多组针对特定LoRA模块的查询、键和值向量;在自注意力机制中,给定查询、键和值向量,计算注意力分数,并利用这些分数对值进行加权求和;使得模型为每个LoRA模块学习不同的关注度,以更有效地捕捉各自的特征;最终,通过对多组注意力机制的输出进行加权求和,得到了对多个LoRA模块输出的综合关注表示;所述综合关注表示通过与任务特定的权重矩阵相乘,选择特定任务的融合特征,使得模型在应对不同任务时能够更灵活地关注相关的语义信息,给定一个查询向量q、键向量k和值向量v,缩放点积注意力的计算过程为: 其中·表示点积操作,dk是查询和键的维度; 通过训练任务特定层,使任务特定层能够接受用户输入问句的向量表示,并输出针对特定任务的独热编码,在此过程中,用户输入问句的向量表示分别经过了任务感知自注意力调节层和任务特定层;通过将任务感知自注意力调节层的输出特征融合表示和任务特定层针对任务的one-hot编码相乘,得到针对当前任务的特征融合表示。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南农业大学,其通讯地址为:510642 广东省广州市天河区五山路483号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励