南京大学程龚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京大学申请的专利基于生成模型辅助机器阅读理解的实现方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114611510B 。
龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210285465.0,技术领域涉及:G06F40/289;该发明授权基于生成模型辅助机器阅读理解的实现方法及装置是由程龚;吴傲;黄子贤设计研发完成,并于2022-03-23向国家知识产权局提交的专利申请。
本基于生成模型辅助机器阅读理解的实现方法及装置在说明书摘要公布了:基于生成模型辅助机器阅读理解的实现方法及装置,对选择题构建阅读理解模型,包括两个工作流,1生成流,将问题输入编码器获得问题编码表示,再输入解码器获得答案解码表示,训练时根据正确选项计算teacher‑forcing损失;2阅读理解流,将问题编码表示单独由解码器使用贪心策略生成问题扩展的向量表示,同时将问题分别拼接各选项后输入编码器,将对应输出的问题选项表示与扩展的向量表示交互融合,由所得融合结果获得每个选项对应的logit,训练时将这些logit与正确选项之间计算交叉熵损失,以teacher‑forcing损失和交叉熵损失结合起来对阅读理解模型进行训练优化。本发明使用单数据集训练,提高了对选择题的阅读理解准确率。
本发明授权基于生成模型辅助机器阅读理解的实现方法及装置在权利要求书中公布了:1.基于生成模型辅助机器阅读理解的实现方法,其特征是对于选择题的自然语言阅读理解,基于序列到序列模型的编码器解码器构建阅读理解模型,使用问题集q,对应的选项集o和正确选项集a进行训练,阅读理解模型包括两个工作流,一个是生成流,问题输入编码器获得问题编码表示Q,将问题编码表示Q输入解码器获得答案解码表示Ag,训练时根据正确选项计算teacher-forcing损失;另一个是阅读理解流,将问题编码表示Q单独输入解码器,生成解码表示作为问题扩展的向量表示Au,同时将问题拼接所对应的各选项后输入编码器,得到问题选项表示QO,将QO与扩展的向量表示Au通过一个双向匹配层进行交互融合,得到融合表示之后将融合表示通过一个线性层获得每个选项对应的logit,训练时将这些logit与正确选项之间计算交叉熵损失,以teacher-forcing损失和交叉熵损失结合起来对阅读理解模型进行训练优化,得到生成式阅读理解模型; 对阅读理解模型训练时,结合生成流的损失函数和阅读理解流的损失函数,得到多任务优化损失: Lθ=λ×lossu+1-λ×lossg lossg为生成流损失,lossu为阅读理解流损失,θ为模型参数,λ定义为: λ=rougetokens,α λ是阅读理解流的解码输出与正确选项之间的rouge值,其意义是如果阅读理解流的解码输出生成的tokens与正确选项相似度高,则说明生成结果好,从而相对降低生成损失的权重,并增加阅读理解损失的权重,反之,如果生成的tokens与正确选项rouge值低,说明生成效果较差,从而相应地增加生成损失的权重,让模型优先提高生成的效果,同时避免双向匹配层进行交互融合时受到生成噪音的影响; 最后,使用梯度下降和误差反向传播算法对模型进行优化,采用Adam优化器。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京大学,其通讯地址为:210023 江苏省南京市栖霞区仙林大道163号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。