买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种基于预训练语言模型的常识问答方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116842157B 。

龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310853303.7，技术领域涉及：G06F16/3329；该发明授权一种基于预训练语言模型的常识问答方法及系统是由胡琳梅;赵紫望;戚伟健设计研发完成，并于2023-07-12向国家知识产权局提交的专利申请。

本一种基于预训练语言模型的常识问答方法及系统在说明书摘要公布了：本发明公开了一种基于预训练语言模型的常识问答方法及系统，属于常识问答技术领域，能够解决现有模型在常识问答任务上的性能较差，且计算成本较高的问题。所述方法包括：S1、获取查询答案对；查询答案对包括一个查询语句和与查询语句对应的多个候选答案中的一个候选答案；S2、从外部知识库中提取查询答案对的外部相关知识；S3、将查询答案对输入预训练语言模型中，并利用适配器将外部相关知识与预训练语言模型输出的查询输出特征进行整合，得到整合后特征；S4、根据整合后特征计算查询答案对的可信度得分，并将可信度得分最高的查询答案对中的候选答案作为查询语句的正确答案。本发明用于常识问答。

本发明授权一种基于预训练语言模型的常识问答方法及系统在权利要求书中公布了：1.一种基于预训练语言模型的常识问答方法，其特征在于，所述方法包括： S1、获取查询答案对；所述查询答案对包括一个查询语句和与所述查询语句对应的多个候选答案中的一个候选答案； S2、从外部知识库中提取所述查询答案对的外部相关知识； S3、将所述查询答案对输入预训练语言模型中，并利用适配器将所述外部相关知识与所述预训练语言模型输出的查询输出特征进行整合，得到整合后特征； S4、根据所述整合后特征计算所述查询答案对的可信度得分，并将可信度得分最高的查询答案对中的候选答案作为所述查询语句的正确答案； 所述S3具体包括： S31、将所述查询答案对输入预训练语言模型中，得到查询输出特征； S32、将所述外部相关知识中的一条知识和所述查询输出特征输入适配器中进行L层整合，得到整合后特征和知识输出特征；其中，L为适配器层数；将每个预训练语言模型层与一个参数共享的适配器层连接起来；第个适配器层的输入的表达式如下所示： ； 其中，为第个预训练语言模型层的查询输出特征，，是一个可训练的矩阵，在训练过程中进行学习，表示逐元素乘法；为垂直连接第个适配器层的知识输出特征；和分别表示预训练语言模型输入序列和知识片段的长度，是隐藏大小； 在所述S32之前，所述方法还包括： S33、利用门控函数对所述查询输出特征进行过滤； 在所述S32之后，所述方法还包括： S35、利用关系判别方法对所述适配器进行参数更新； 给定实体相关知识片段及其对应的三元组，通过对实体提及的标记嵌入进行平均池化操作，得到实体表示和；将和连接起来作为关系表示；将关系视为其正样本，将其他关系视为负样本；采用InfoNCE损失函数进行适配器参数更新，所述InfoNCE损失函数的表达式如下所示： ； 其中，是温度超参数，是ConceptNet中关系的数量，表示基于预训练语言模型的关系的标记ID的查找操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。