齐鲁工业大学(山东省科学院)王庆祥获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉齐鲁工业大学(山东省科学院)申请的专利基于预训练语言模型的少样本层次文本分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121501999B 。
龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610037617.3,技术领域涉及:G06F16/35;该发明授权基于预训练语言模型的少样本层次文本分类方法是由王庆祥;王萌琪;田莹莹设计研发完成,并于2026-01-13向国家知识产权局提交的专利申请。
本基于预训练语言模型的少样本层次文本分类方法在说明书摘要公布了:本发明涉及层次文本分类技术领域,尤其是提供了一种基于预训练语言模型的少样本层次文本分类方法。该方法包括通过动态提示生成器,生成自适应任务的提示和分类特征表示;采用语义共享词汇映射器,通过编码父子关系及跨层级标签依赖,以保持语义一致性;利用动态加权损失函数,根据样本难度、标签层次和类别不平衡调整损失贡献,该方法解决了层次语义混淆问题,实现了标签间的语义共享,降低了模型对层次标注的依赖。
本发明授权基于预训练语言模型的少样本层次文本分类方法在权利要求书中公布了:1.一种基于预训练语言模型的少样本层次文本分类方法,其特征在于,所述方法包括: 步骤1、通过动态提示生成器,生成自适应任务的提示和分类特征表示; 步骤2、基于步骤1,采用语义共享词汇映射器,通过编码父子关系及跨层级标签依赖,以保持语义一致性; 步骤3、根据步骤2,利用动态加权损失函数,根据样本难度、标签层次和类别不平衡调整损失贡献; 所述步骤2包括: 设计具有共享机制的Verbalizer机制,其表达式为: ec=Wsep+b; 其中,ec表示子节点标签的嵌入,ep表示父节点标签的嵌入,Ws表示从父节点嵌入生成子节点嵌入的共享参数矩阵,b表示偏置项; 通过联合优化各层级预测概率,建模父节点与子节点间的依赖关系,其表达式为: pyc|x=pyc|yppyp|x; 其中,pyc|x表示给定输入文本x时,子节点的预测概率;pyc|yp表示在给定父节点yp条件下,子节点的条件概率;pyp|x表示父节点的预测概率;子节点的预测依赖于父节点的预测结果,通过联合建模条件概率pyc|yp与父节点概率pyp|x,以确保子节点预测与父节点预测的一致性; 所述步骤3包括: 引入动态权重机制,其根据样本的难度及其层次位置调整样本权重,其动态权重的表达式为: ; 其中,wi表示样本i的动态权重;confi表示样本i的预测置信度,freqyi表示样本所属标签yi的类别概率,α和β为可调超参数,用以平衡置信度与类别概率对权重的影响; 通过融合动态权重与层次一致性约束,设计动态加权损失函数,其表达式为: ; 其中,L表示总损失,wi表示样本i的动态权重,为样本i的交叉熵损失,λ为可变平衡系数;HCCyj,yj+1为层次一致性约束项,用于强制父标签与子标签预测的一致性; 层次一致性约束项通过最小化父节点与子节点预测概率之间的KL散度,以确保层级内部的预测一致性,其表达式为: HCCyj,yj+1=KLpyj+1|x||pyj+1|yj; 其中,pyj+1|x为子节点的预测概率;pyj+1|yj为在给定yj+1条件下父节点的子节点概率;KL为Kullback-Leibler散度,用于度量两个概率分布之间的差异。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院),其通讯地址为:250353 山东省济南市长清区西部新城大学科技园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励