买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中科南京人工智能创新研究院;中国科学院自动化研究所申请的专利一种基于可微量化训练的视觉Transformer压缩方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114756517B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210295189.6，技术领域涉及：G06F16/174；该发明授权一种基于可微量化训练的视觉Transformer压缩方法及系统是由李哲鑫;张一帆;王培松;程健设计研发完成，并于2022-03-24向国家知识产权局提交的专利申请。

本一种基于可微量化训练的视觉Transformer压缩方法及系统在说明书摘要公布了：本发明公开了一种基于可微量化训练的视觉Transformer压缩方法及系统，属于人工智能的技术领域。包括以下步骤：步骤一、将输入图片进行分块处理，并通过线性映射转换成对应的图片序列；步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理，得到压缩后的图片序列；步骤三、将压缩后的图片序列进行分类处理，输出预测的概率值。在执行步骤一至步骤三时引入了可微量化步长训练方法，基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度；同时，步骤二在执行局部信息量化时引入了可微量化偏置训练方法，基于可微量化偏置训练方法自动学习得到最优的量化区间，保留负激活区域的信息。降低了因量化导致的性能损失，提高了量化精度。

本发明授权一种基于可微量化训练的视觉Transformer压缩方法及系统在权利要求书中公布了：1.一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，包括以下步骤： 步骤一、将输入图片进行分块处理，并通过线性映射转换成对应的图片序列； 步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理，得到压缩后的图片序列；其中M为整数； 步骤三、将压缩后的图片序列进行分类处理，输出预测的概率值；在执行步骤一至步骤三时引入了可微量化步长训练方法，基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度；同时，步骤二在执行局部信息量化时引入了可微量化偏置训练方法，基于可微量化偏置训练方法自动学习得到最优的量化区间，保留负激活区域的信息； 所述可微量化步长训练方法同时适用于图像特征量化和图像权重量化； 其中，所述可微量化步长训练方法包括以下流程： 定义全精度的权重为w，量化后的定点权重为q，量化操作表示为： 式中，clipz,a,b表示将矩阵z中大于a的元素置为a，大于b的元素置为b；round操作表示基于四舍五入的取整；α表示可微量化步长，-qmin,qmax分别表示量化范围的最小值和最大值； 通过反量化操作，计算得到与定点权重为q相对应的浮点 所述可微量化偏置训练方法包括以下流程： 定义全精度的权重为w，量化后的定点权重为q，量化操作表示为： 式中，clipz,a,b表示将矩阵z中大于a的元素置为a，大于b的元素置为b；round操作表示基于四舍五入的取整；α表示可微量化步长，-qmin,qmax分别表示量化范围的最小值和最大值； 通过反量化操作，计算得到与定点权重为q相对应的浮点其中，β为引入的可微量化偏置。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中科南京人工智能创新研究院;中国科学院自动化研究所，其通讯地址为：211135 江苏省南京市创研路266号麒麟人工智能产业园3号楼3楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。