Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 华东师范大学张敏获国家专利权

华东师范大学张敏获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉华东师范大学申请的专利融合神经崩塌检测与调控的个性化学习长尾数据处理方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120234657B

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510726538.9,技术领域涉及:G06F18/24;该发明授权融合神经崩塌检测与调控的个性化学习长尾数据处理方法是由张敏;郭瑛英;胡航磊;江波;周爱民设计研发完成,并于2025-06-03向国家知识产权局提交的专利申请。

融合神经崩塌检测与调控的个性化学习长尾数据处理方法在说明书摘要公布了:本发明公开了一种融合神经崩塌检测与调控的个性化学习长尾数据处理方法,包括:a)使用分层抽样的方法构建测试集,剩余数据作为训练集;b)提出了一种文本模态崩塌正则化方法,获得文本在大语言模型(LLM)中文本模态崩塌程度;c)结合文本模态崩塌损失和任务特定损失构建LoRA微调过程中的综合损失函数;d)对大语言模型进行LoRA微调;e)通过在不同个性化学习任务上进行评估,利用多个评估指标(如分类准确率、宏观F1值)对方法作用在模型上的性能进行综合评价。本发明通过神经崩塌现象与文本模态崩塌正则化的结合,解决了个性化学习中的数据分类准确率低的问题,显著提升了大语言模型的泛化能力和鲁棒性。

本发明授权融合神经崩塌检测与调控的个性化学习长尾数据处理方法在权利要求书中公布了:1.一种融合神经崩塌检测与调控的个性化学习长尾数据处理方法,其特征在于,包括以下步骤: S1.获取包含长尾分布的个性化学习文本数据集,使用分层抽样的方法构建测试集,剩余数据作为训练集; S2.通过大语言模型每层平行的注意力头计算多头注意力,根据前一层的隐藏状态和多头注意力,得到每个变换器层的隐藏状态,基于每两个不同的样本输入在变换器层的隐藏状态的内积与文本表述的固定长度约束的差值,获得文本模态崩塌程度TCD; S3.根据文本模态崩塌TC损失和任务特定损失定义LoRA微调过程中的综合损失函数,使用二值函数计算不同类别样本间的文本模态崩塌程度并累加作为文本模态崩溃TC损失,并通过类内凝聚力和类间排斥力计算任务特定损失,由文本模态崩溃TC损失和任务特定损失的线性组合构成综合损失函数计算表达式如下: 其中,λ是一个控制着文本模态崩塌TC损失影响的常量参数; S4.对已预训练好的大语言模型和训练集进行LoRA微调,对已预训练好的大语言模型的权重矩阵W0进行修改,通过在权重矩阵W0的基础上添加低秩矩阵A和B来实现;公式为: 其中,ΔW为权重更新矩阵,x是输入特征向量,m是经过低秩调整后模型的隐藏层输出,α是一个用于缩放的常量参数,r是低秩矩阵A和B的秩; 模型的隐藏层输出m经过全连接层,产生每个类别的预测概率,根据综合损失函数对m计算损失;文本模态崩塌程度TCD和综合损失函数通过反向传播更新低秩矩阵A和B的参数; S5.根据测试集内容对微调后的大语言模型进行测试评估,完成对测试集的分类;其中: 计算文本模态崩塌程度TCD,其具体包括: ΔTCD=Avgi≠j{hlti,hltj-TW·μ}, 其中,Avg表示对所有满足条件的元素取算术平均值,ti和tj是样本输入,N是类别的数量,TW是文本表述的固定长度约束,hl表示第l层的隐藏状态, 计算文本模态崩溃TC损失,其计算表达式包括: 其中,∑是累加,是二值函数,b是批次规模大小,yi是第i个样本的类别;文本模态崩溃TC损失以以下条件作为约束: 其中,||||2表示欧几里得范式,表示在一个批次中第1个到第b个样本中的任意样本i。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。