买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江南大学申请的专利一种基于掩码自动编码器与噪声增强的模型预训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119940470B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510423102.2，技术领域涉及：G06N3/094；该发明授权一种基于掩码自动编码器与噪声增强的模型预训练方法是由徐天阳;吴小俊;丁志坚设计研发完成，并于2025-04-07向国家知识产权局提交的专利申请。

本一种基于掩码自动编码器与噪声增强的模型预训练方法在说明书摘要公布了：本发明提供一种基于掩码自动编码器与噪声增强的模型预训练方法，涉及自然语言处理技术领域，该方法包括构建非对称编码‑解码模型，通过差异化的掩码比例和解码机制提升训练信号多样性。接着，引入噪声注入机制，通过向嵌入添加噪声增强模型对抗扰动的鲁棒性，并提出两项改进：一是动态调整噪声幅度，在训练初期使用较大噪声增强鲁棒性，后期减小噪声提升精度；二是在训练后期利用KL散度引导噪声生成，衡量原始嵌入与加噪嵌入的分布差异，使噪声针对模型弱点更智能化。在多个数据集上进行预训练与评估，显著提升零样本和监督学习场景下的密集检索性能。最终，该方法无需额外微调模型，即可提高检索任务中句子表示的准确性和稳定性。

本发明授权一种基于掩码自动编码器与噪声增强的模型预训练方法在权利要求书中公布了：1.一种基于掩码自动编码器与噪声增强的模型预训练方法，其特征在于，包括： S1：构建非对称编码-解码模型，其中编码器为全规模深度神经网络，用于生成输入句子的嵌入表示，解码器为轻量单层神经网络，用于重建输入句子； S2：对输入句子施加差异化掩码策略，其中编码器掩码比例为15%-30%，解码器掩码比例为50%-75%，以生成差异化的训练信号； S3：在编码器嵌入生成过程中引入动态噪声注入机制，通过在训练过程的不同时期添加不同幅度的噪声，增强非对称编码-解码模型对抗扰动的鲁棒性，其中所述动态噪声注入机制，噪声幅度根据训练进度动态调整，其计算公式为： ； 其中，表示动态的噪声幅度，表示初始噪声幅度，表示衰减率，用于控制幅度下降速度，表示总训练步数，表示当前训练步数，表示噪声的最小幅度； S4：利用KL散度引导噪声生成，通过计算原始嵌入与加噪嵌入的分布差异，优化噪声的生成方向；所述KL散度引导噪声生成中，噪声方向通过以下公式计算： ； 其中，表示高斯近似下的梯度，指向分布差异最大的方向，表示对噪声向量N的梯度运算，表示KL散度，表示动态的噪声幅度；被用来衡量两个嵌入分布之间的差异，和分别为原始嵌入和加噪嵌入的概率分布；是从单位球面采样的随机向量，提供探索性扰动；为动态权重，范围为，表示L2范数标准化； S5：使用多个数据集对非对称编码-解码模型进行预训练，并通过语义重建和噪声对抗联合损失优化非对称编码-解码模型的参数； S6：将预训练后的非对称编码-解码模型直接应用于零样本或监督学习场景的密集检索任务，输出句子的向量表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江南大学，其通讯地址为：214000 江苏省无锡市经开区金融八街1号无锡商会大厦2201；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。