买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学;南宁桂电电子科技研究院有限公司申请的专利一种用于图像处理的神经网络的无监督预训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116739075B 。

龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310656829.6，技术领域涉及：G06N3/088；该发明授权一种用于图像处理的神经网络的无监督预训练方法是由蓝如师;陈颖贤;罗笑南;杨睿设计研发完成，并于2023-06-05向国家知识产权局提交的专利申请。

本一种用于图像处理的神经网络的无监督预训练方法在说明书摘要公布了：本发明涉及神经网络无监督学习技术领域，具体涉及一种用于图像处理的神经网络的无监督预训练方法，包括如下步骤：首先将图像分成图像块，再进行掩膜操作，接着计算感知损失，计算对比损失与重建损失，最后利用损失进行训练。训练完毕以后，使用训练后的模型对输入图像处理，获得类别特征向量和重建的图像向量。本发明通过使用感知损失能够衡量掩膜操作对于神经网络的影响，同时使用对比损失使其特征更加明显，最后通过重建损失令网络学习如何将图像抽象为特征同时减少抽象过程中信息的丢失，提高了神经网络对于图像的特征提取能力。

本发明授权一种用于图像处理的神经网络的无监督预训练方法在权利要求书中公布了：1.一种用于图像处理的神经网络的无监督预训练方法，其特征在于，包括下列步骤： 步骤1：传入一个具有多类样本图像的数据集； 步骤2：对传入数据集的图像输入进行掩模操作，分别获得图像的原数据集与已掩模数据集； 步骤3：将神经网络分为多个阶段，每个阶段使用多个视觉变换器为主干网络，再分别输入原数据集与已掩模数据集，核对每个阶段两者输出的差异，并记录为感知损失； 将神经网络分为多个阶段，核对每个阶段两者输出的差异，并记录为感知损失的过程，包括下列步骤： 步骤3.1：将神经网络f划分为n个阶段，阶段i表示为StageiX： fjX＝Stagej⊙Stagej-1⊙…⊙Stage1X 其中⊙表示函数复合运算； 步骤3.2：每个阶段StageiX包含有λi个视觉变换器，视觉变换器的流程用公式描述为： X'l＝Xl+MSALNXl Xl+1＝X'l+FFNLNX'l 其中l表示第l层神经网络，LN指层归一化，MSA指多头注意力机制，FFN指前馈神经网络， MSA的流程用公式描述为： 其中Concat指拼接操作，Nh指注意力头，即Nh个注意力机制输出，第h个头的注意力定义为： SelfAttenionhX:＝[φhX]Vh 其中是基于输入数据内容提供空间注意力的函数，作用是聚合Vh，定义为： 其中是线性投影矩阵，τφ是温度参数； FFN的流程描述为： FFNX＝σXW1W2 其中W1,W2是线性投影矩阵，σ是激活函数； 步骤3.3：计算感知损失，只计算被掩膜区域的感知损失 其中ξj是衡量每个阶段感知损失权重的超参数系数，且ξjξj+1，T[b,i]表示第b张图像的第i个图像块特征； 步骤4：在神经网络的最后一层，获取视觉变换器的输出，并分为分类单元与图像单元；对于分类单元，计算图像的掩膜输入与其原输入和其他图像原输入的神经网络输出的差异，记录为对比损失；对于图像单元，计算图像掩膜输入的神经网络的输出与原图像像素值的差异，记录为重建损失； 步骤5：利用所述感知损失、所述对比损失和所述重建损失共同作为总损失函数，对神经网络进行训练； 所述总损失函数为： 其中ξ,β,γ都是超参数系数，ξ代指步骤3.3中衡量每个阶段感知损失权重的超参数系数ξj的集合； 步骤6：训练完毕以后，模型输入图像，输出类别特征向量和重建的图像向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学;南宁桂电电子科技研究院有限公司，其通讯地址为：541004 广西壮族自治区桂林市七星区金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。