买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利结合预训练语言模型的跨模态非自回归解码方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119962548B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510093157.1，技术领域涉及：G06F40/58；该发明授权结合预训练语言模型的跨模态非自回归解码方法及系统是由陈毅东;余培;史晓东设计研发完成，并于2025-01-21向国家知识产权局提交的专利申请。

本结合预训练语言模型的跨模态非自回归解码方法及系统在说明书摘要公布了：结合预训练语言模型的跨模态非自回归解码方法及系统，涉及跨模态翻译。解码系统依次包括目标排列采样、预训练文本编码、预训练文本解码、预训练损失计算、源端特征提取、下游编码、CTC增强、下游解码、下游任务损失计算、输出等模块。解码方法：采样预训练训练样本以及目标排列；将源端文本编码为隐向量；目标端文本解码；预训练阶段损失计算；初始化下游跨模态非自回归翻译模型的参数；源端特征提取；源端特征编码；下游解码模块输入生成；解码模块生成翻译结果；计算下游跨模态非自回归翻译模型损失；下游跨模态非自回归翻译结果输出。利用RandomDrop以及CTC，缓解预训练和微调阶段解码器输入的模态差异。

本发明授权结合预训练语言模型的跨模态非自回归解码方法及系统在权利要求书中公布了：1.结合预训练语言模型的跨模态非自回归解码方法，其特征在于包括以下步骤： 1）采样预训练训练样本以及目标排列：从用于预训练的语料中采样一条数据对，并采样目标句子的一种排列，其中，中每一个元素使用的是目标词汇在目标序列中的下标； 2）将源端文本编码为隐向量：使用预训练模型的文本编码模块将源端文本编码为隐向量； 3）目标端文本解码：通过拷贝机制将预训练源端文本的词嵌入转换为非自回归解码器的输入，并将其输入到文本解码模块中；在接受到预训练文本编码模块的输出的向量后，文本解码模块通过编码模块的特征向量生成翻译结果； 4）预训练阶段损失计算：使用交叉熵损失计算每一层解码器的翻译损失，并将所有层的损失相加得到总损失； 5）初始化下游跨模态非自回归翻译模型的参数： 训练完毕预训练语言模型后，即可利用其参数初始化下游跨模态非自回归翻译模型的编码器和解码器的参数； 6）源端特征提取：在特征提取模块将源端数据每一帧进行特征提取，得到包含源端信息的特征序列； 7）源端特征编码：将步骤6）提取到的源端特征向量送至下游编码模块得到隐藏表示； 8）下游解码模块输入生成：结合CTC层的预测概率和目标端词嵌入层的权重矩阵，通过位置编码和可学习权重计算注意力得分矩阵，并用其生成解码模块的输入，以融合目标端上下文信息； 9）解码模块生成翻译结果：下游解码模块通过同时获取解码模块的输入以及编码模块输出的特征向量去生成翻译结果； 10）计算下游跨模态非自回归翻译模型损失：在下游损失计算模块，使用CTC损失函数计算下游编码模块的损失，使用交叉熵损失函数计算下游解码模块中生成单词的翻译损失； 11）下游跨模态非自回归翻译结果输出：通过输出模块输出经过下游跨模态非自回归翻译模型得到的口语句子。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。