买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学申请的专利基于对比学习与注意力机制的鲁棒口语知识提取方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116756292B 。

龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310921396.2，技术领域涉及：G06F16/3329；该发明授权基于对比学习与注意力机制的鲁棒口语知识提取方法与系统是由王钰;王延峰;祝致远;廖育生设计研发完成，并于2023-07-25向国家知识产权局提交的专利申请。

本基于对比学习与注意力机制的鲁棒口语知识提取方法与系统在说明书摘要公布了：本发明提供了一种基于对比学习与注意力机制的鲁棒口语知识提取方法及系统，包括：步骤S1：利用BERT提取写作对话历史文本和外部知识的联合句子级别表征；步骤S2：利用BERT提取与写作对话历史文本对应的语音识别模块输出的口语对话历史文本和外部知识的联合句子级别表征；步骤S3：利用注意力机制将多个口语对话历史文本和外部知识的联合句子级别表征融合为一个表征；步骤S4：基于融合后的口语对话历史文本‑外部知识联合表征和写作对话历史文本和外部知识的联合句子级别表征利用对比学习选择正确的外部知识。

本发明授权基于对比学习与注意力机制的鲁棒口语知识提取方法与系统在权利要求书中公布了：1.一种基于对比学习与注意力机制的鲁棒口语知识提取方法，其特征在于，包括： 步骤S1：利用BERT提取写作对话历史文本和外部知识的联合句子级别表征； 步骤S2：利用BERT提取与写作对话历史文本对应的语音识别模块输出的口语对话历史文本和外部知识的联合句子级别表征； 步骤S3：利用注意力机制将多个口语对话历史文本和外部知识的联合句子级别表征融合为一个表征； 步骤S4：基于融合后的口语对话历史文本-外部知识联合表征和写作对话历史文本和外部知识的联合句子级别表征利用对比学习选择正确的外部知识； 所述步骤S1采用： 步骤S1.1：将写作对话历史文本和个用于知识选择模型训练的外部知识级联；表示为：；其中，表示写作对话历史文本；代表个外部知识； 步骤S1.2：利用BERT对写作对话历史文本和外部知识的级联提取联合句子级别表征；表示为：；其中，与一一对应，每一个表征向量； 所述步骤S2采用： 步骤S2.1：将语音识别模块的多个输出进行提取获得多段口语对话历史文本；表示为：,其中表示输出的个数； 步骤S2.2：将提取得到的多段口语对话历史文本分别与C个用于知识选择模型训练的外部知识级联获得口语对话历史文本-外部知识的级联；表示为：； 步骤S2.3：利用BERT对口语对话历史文本-外部知识的级联进行表征提取；表示为：；其中，与一一对应,； 所述步骤S3采用： 对某一个外部知识整理得到个口语对话历史文本-外部知识的联合句子级别表征；使用注意力机制对当前个表征进行融合；表示为： 其中，是一个全一向量；是注意力机制模块的可学习参数；经过注意力机制融合后的个口语对话历史文本-外部知识的联合句子级别表征表示为： 所述步骤S4采用： 步骤S4.1：构造对应于写作对话历史文本-外部知识表征的正样本对及负样本对； 步骤S4.2：构造对应于融合后的口语对话历史文本-外部知识表征的正样本对及负样本对； 步骤S4.3：利用对比学习使得写作对话历史文本-外部知识表征指导口语对话历史文本-外部知识表征选择正确的外部知识； 所述步骤S4.1采用：当且仅当下标和指向同一个正确的外部知识时构成一对正样本； 同属于写作文本域的负样本集合为：，属于口语文本域的负样本集合为：；最终的所有负样本集合可以写作：； 所述步骤S4.2采用： 当且仅当下标和指向同一个正确的外部知识时构成一对正样本； 同属于口语文本域的负样本集合为：，属于写作文本域的负样本集合为：；最终的所有负样本集合可以写作：； 所述步骤S4.3采用：利用对比学习使得写作对话历史文本-外部知识表征指导口语对话历史文本-外部知识表征选择正确的外部知识； 整个知识选择模型使用总损失：进行训练，指导融合后的口语对话历史文本-外部知识表征选择正确的外部知识； 其中，利用构造的正负样本对设计对比学习的损失函数如下公式所示： 将表征和分别经过线性层获得写作对话历史文本-外部知识联合表征和口语对话历史文本-外部知识联合表征的分类概率分别记作和： ； 利用损失函数监督知识选择模型的训练，从个外部备选知识中选择到唯一正确的知识； 其中，使用写作文本对话历史-外部知识联合表征选择到正确知识的概率；使用融合后口语文本对话历史-外部知识联合表征选择到正确知识的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。