华东师范大学陈琴获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华东师范大学申请的专利基于提示学习与细粒度对比学习的低资源常识问答方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115858745B 。
龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211460692.9,技术领域涉及:G06F16/3329;该发明授权基于提示学习与细粒度对比学习的低资源常识问答方法是由陈琴;雷智凯;周杰;张旗;贺樑设计研发完成,并于2022-11-17向国家知识产权局提交的专利申请。
本基于提示学习与细粒度对比学习的低资源常识问答方法在说明书摘要公布了:本发明公开了一种基于提示学习与细粒度对比学习的低资源常识问答方法,属于自然语言处理领域。方法包括:基于提示学习的完型填空式格式转化;基于细粒度对选项进行对比;预测正确答案。本发明与现有技术相比,引入了提示学习与基于细粒度的对比学习,能够使得模型在低资源情况下训练的时候降低冗余,大幅提高模型的准确率。
本发明授权基于提示学习与细粒度对比学习的低资源常识问答方法在权利要求书中公布了:1.一种基于提示学习与细粒度对比学习的低资源常识问答方法,其特征在于,该方法包括:问答对的定义:第j个问答对其中|D|是样本个数,qj是第j个问答对的问题,Oj是第j个问答对的选项集合;其中|Oj|是选项个数,表示第j个问答对的第i个选项;问答的目标就是从选项集合Oj中找到问题qj对应的正确选项; 基于提示学习的完型填空式格式转化:将原本问题qj通过基于规则的句法改写方法转化为完型填空式问题cj,其中选项的位置会由[OPTION]词符表示,接着将[OPTION]词符替换为选项并得到含有具体选项的完型填空式问题然后再基于提示学习的规则重写为基于提示学习的重写句具体重写规则如下: 基于细粒度对选项进行对比:每次训练时会有一批问答对通过上述转化,得到基于提示学习重写的句子集合然后将句子集合S通过预训练语言模型albert-xxlarge-v2编码得到[MASK]词符的表示其中d代表表征维度,n表示是一个问题的选项个数;接着随机选取两个选项的[MASK]词符表示,记作通过计算关联矩阵来衡量两个选项间不同维度的相似度,Mkt代表维度k与维度t的相似度,关联矩阵Mkt计算如下: 其中代表的是在这一批问答对中随机选取的两个选项中第一个选项的第b个问答对的第k维的值,同理; 第一训练任务:通过损失函数使得关联矩阵M的对角线元素的值接近1,非对角线元素的值接近0,也就是同一维度的相似度接近1,不同维度的相似度接近0,这样就能使得不同维度间表示的信息不同,从而降低冗余,提高模型的准确率;公式中α是一个用来平衡对角线的损失值与非对角线的损失值的超参数; 预测正确答案:将重写后的句子通过预训练语言模型MLM得到每一个词符t在[MASK]词符出现的概率: 每个选项被看作是一个二元分类问题,所以通过yes和no词符在[MASK]词符出现的概率来对选项作为答案的分数进行衡量,分数最高的将被认为是正确答案; 第二训练任务:通过使得正确选项的分数更高,错误选项的分数更低; 其中是的标签;当是正确选项的时候为1,否则为0;CE表示交叉熵损失函数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。