买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河北师范大学申请的专利基于生成器-判别器架构的语言表征模型预训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116049405B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310060651.9，技术领域涉及：G06F16/35；该发明授权基于生成器-判别器架构的语言表征模型预训练方法是由赵书良;丁雪怡;刘林帆;孙婧涵;杨依涵;穆翔宇设计研发完成，并于2023-01-16向国家知识产权局提交的专利申请。

本基于生成器-判别器架构的语言表征模型预训练方法在说明书摘要公布了：本发明公开了一种基于生成器‑判别器架构的语言表征模型预训练方法，包括了语料数据预处理、搭建生成器‑判别器架构、使用跨度掩码‑替代检测方法进行预训练、语言表征模型训练、模型验证步骤。本发明解决了预训练方法与下游任务之间存在样本数据不一致性问题，在增加预训练方法难度的同时，降低下游任务微调复杂度，以致能生成深度的双向语言表征模型，更好地适用于下游任务。

本发明授权基于生成器-判别器架构的语言表征模型预训练方法在权利要求书中公布了：1.一种基于生成器-判别器架构的语言表征模型预训练方法，其特征在于包括以下步骤： 步骤1：语料数据预处理： 语料数据以文本序列形式出现：将其修剪至预设的最大长度，对语料数据以单词为单位进行文本分割，分割出的每一个单词作为一个Token，在词汇表中逐一查找各Token对应的词嵌入表示得到词嵌入张量，根据Token所属不同文本段得到相应的词句分块张量，根据Token在文本序列中的索引位置，得到位置编码张量表示；分别加和各Token的词嵌入张量、词句分块张量、位置编码张量得到在低维稠密向量上各Token的嵌入表示ex，将在低维稠密向量上的各Token嵌入表示ex划分为训练数据集和验证数据集，进行集中存储； 步骤2：搭建生成器-判别器架构，包括以下具体模块： 所述生成器-判别器架构包括依次串联的输入层、生成器、判别器、输出层； 生成器、判别器结构相同，均为多层预训练文本编码器单元，由串联的6层编码器和1层隐层单元组成，各层编码器块均包括1层自注意层和1层前馈神经网络，节点是为256；每层编码器均负责对输入的Token嵌入表示ex进行多头注意力计算-残差连接、第一归一化处理-前馈神经网络训练-残差连接、第二归一化处理，隐层负责进行结果输出；输入层负责对训练示例或验证示例的嵌入表示进行跨度掩码处理，输出层是最终结果输出的出口； 步骤3：使用跨度掩码-替代检测方法进行预训练：输入层将训练示例进行掩码处理，输出被掩码的示例文本至生成器进行预测；生成器的6层编码器对示例文本依次进行多头注意力计算-残差连接、第一归一化处理-前馈神经网络训练-残差连接、第二归一化处理，充分根据上下文预测被掩码处理文本的位置，生成完整文本序列输出至判别器进行Token的替代检测；判别器的6层编码器块对完整文本序列依次进行多头注意力计算-残差连接、第一归一化处理-前馈神经网络训练-残差连接、第二归一化处理，以优化损失为目标，根据上下文判断每一个Token是否与模型原始输入不一致，对完整文本序列进行替代判别，针对每一个Token位置输出被替代过或没有替代过标记；判别结果经输出层进行输出； 步骤4：语言表征模型训练： 以生成器、判别器联合损失函数最小为目标进行训练；其中生成器损失函数为LGen，判别器损失函数为LDis，两模块损失加和作为模型的整体损失，以min∑LGen+LDis为目标函数，输入训练示例对模型进行训练： 生成器的目标函数为： 判别器的目标函数为： 式中，训练示例x＝[x1,…,xn]；n表示训练示例分词后的Token个数；k为选择的随机遮盖位置数量，k＝[0.15n]，xmasked表示遮盖位置Token被跨度掩码[Mask]替换后的文本序列，xcorrupt表示生成器生成被跨度掩码[Mask]的Token后，输出的文本序列； 对于给定位置i，判别器以sigmoid函数预测Tokenxi是否被替代过的概率： Dx,i＝sigmoidωThDxi3 式中，ω是hDxi同一维度的单位向量，ωT是ω的转置，与hDxi进行内积运算结果作为sigmoid函数的输入，hDxi是在生成器上对Tokenx映射的上下文表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北师范大学，其通讯地址为：050024 河北省石家庄市南二环东路20号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。