买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利基于生成式预训练语言模型的检索式对话建模与优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116578680B 。

龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310397953.5，技术领域涉及：G06F16/3329；该发明授权基于生成式预训练语言模型的检索式对话建模与优化方法是由钟竞辉;李江伟设计研发完成，并于2023-04-14向国家知识产权局提交的专利申请。

本基于生成式预训练语言模型的检索式对话建模与优化方法在说明书摘要公布了：本发明公开了基于生成式预训练语言模型的检索式对话建模与优化方法，包括以下步骤：建立多轮对话数据集；构建基于BART改进的网络模型，并对基于BART改进的网络模型进行训练；使用训练完成后的基于BART改进的网络模型构建检索式对话系统，检索式对话系统接受任意输入作为对话上下文，读取储存的候选回复向量序列，并用基于BART改进的网络模型将某个候选回复的向量序列和对话上下文一同计算，计算出该候选回复与对话上下文相匹配的概率，并选择概率最高的作为对话系统输出的回复。

本发明授权基于生成式预训练语言模型的检索式对话建模与优化方法在权利要求书中公布了：1.基于生成式预训练语言模型的检索式对话建模与优化方法，其特征在于，包括以下步骤： 建立多轮对话数据集； 构建基于BART改进的网络模型，并在多轮对话数据集上对基于BART改进的网络模型进行训练； 所述基于BART改进的网络模型包括Transformer编码器模块、改进后的Transformer解码器模块、softmax分类器； 所述Transformer编码器模块由若干层Transformer编码器堆叠而成，改进后的Transformer解码器模块由若干层Transformer解码器堆叠而成； 所述Transformer编码器模块的输入：为一个候选回复的句子，将输入序列先转换为词嵌入向量，然后词嵌入向量和位置嵌入向量相加得到由Q维向量组成的序列，此序列将通过若干层Transformer编码器，得到候选回复的最终状态向量序列； 改进后的Transformer解码器模块的输入为为对话上下文中所有句子拼接而成的序列，其中[s]与[s]为标志句子开始和结束的特殊符号，[EOT]为在对话上下文每一个发言之间插入的特殊符号，表示一轮发言结束EndOfTurn，表示第轮用户和系统交替产生的发言；将输入序列先转换为词嵌入向量，然后词嵌入向量和位置嵌入向量相加得到由Q维向量组成的序列；得到的序列通过若干层的Transformer编码器，其中还接受来自编码器的候选回复的最终状态向量序列，得到上下文的最终状态向量组成的序列； 在得到解码器的最终状态后，在特殊符号[s]的最终状态上接上一个线性层，使用softmax分类器进行分类，判断编码器端输入的候选回复是否为解码器端输入的对话上下文的合适回复，记[s]特殊符号的最终状态为，则候选回复和上下文分类结果的概率表示为： 其中W和b分别为线性神经网络层的参数和偏置； 使用训练完成后的基于BART改进的网络模型构建检索式对话系统，检索式对话系统接受任意输入作为对话上下文，读取储存的候选回复向量序列，并用基于BART改进的网络模型计算出候选回复与对话上下文相匹配的概率，并选择概率最高的作为对话系统输出的回复。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。