买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学杭州创新研究院;北京航空航天大学申请的专利一种面向Transformer神经网络模型的模块化分解方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119886216B 。

龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411936055.3，技术领域涉及：G06N3/0455；该发明授权一种面向Transformer神经网络模型的模块化分解方法是由孙海龙;高祥;毕潇涵设计研发完成，并于2024-12-26向国家知识产权局提交的专利申请。

本一种面向Transformer神经网络模型的模块化分解方法在说明书摘要公布了：本发明提供一种面向Transformer神经网络模型的模块化分解方法，对于一个随机初始化的模型进行模块化训练，以及在模块化训练后应用掩码实现结构化分解，从而实现灵活的按需复用；具体包括以下步骤：S1、模块化训练；给定一个神经网络模型，首先将模型的全部参数随机初始化；包含一个神经元识别器，用来识别与特定功能相关的神经元；S2、结构化分解；对于模块化训练的模型，将对其进行模块化分解；S3、按需复用；通过结构化地移除神经元，来实现按需复用，最小化内存与计算开销。本发明可以实现Transformer结构模型的结构化分解与功能的灵活按需复用，有高度的可拓展性。

本发明授权一种面向Transformer神经网络模型的模块化分解方法在权利要求书中公布了：1.一种面向Transformer神经网络模型的模块化分解方法，其特征在于，对于一个随机初始化的模型进行模块化训练，以及在模块化训练后应用掩码实现结构化分解，从而实现灵活的按需复用； 具体包括以下步骤： S1、模块化训练； 给定一个神经网络模型，为ViT模型，输入为图片，首先将模型的全部参数随机初始化；包含一个神经元识别器，用来识别与特定功能相关的神经元； S2、结构化分解； 对于模块化训练的模型，将对其进行模块化分解； 结构化分解具体地方法为，根据掩码生成器生成的掩码，判断哪些神经元和当前的目标分类是有关的；考虑到神经元实际上对应着线性层中权重矩阵某一行的输出，根据掩码去除对应权重矩阵中的某一行；此外，考虑到前一层的权重矩阵也会被部分移除，根据前一层的掩码去除当前层的对应行或者列；在分解后，得到一个分解后的模块，并增加一个目标任务的分类头进行简单微调，得到最终的模块用作按需复用； 根据掩码生成器生成的掩码将模块化模型分解为多个模块；具体地，先确定神经元在模型中对应着哪一部分，然后再根据掩码分解模型； 1、确定神经元结构； 通过移除权重矩阵中对应的某一行，来达到移除神经元的目的，同时减少对应的计算开销； 2、通过部分权重矩阵来分解线性层； 为了将模块化的模型分解为模块，首先为每个样本生成掩码；对于类别ci，ni个属于ci的样本被表示为他们对应的掩码表示为定义： 对于类别ci，为了选择对所有相关样本都有效的神经元并且过滤噪声，模块的掩码 对于全连接层，对于连续的两个层A和B，B接受A的输出；则对于权重矩阵B，其需要在输出维度移除掩码B为0的权重行；同时，由于B接受A的输出，权重矩阵B也需要在输入维度移除掩码A为0的权重列；对于注意力层，共包含三个权重矩阵Query、Key和Value，三者均输入相同的特征并得到对应的Q、K和V；然后，注意力分数计算为： 其中，Q＝[q1，q2，...，qn]，K＝[k1，k2，...，kn]，对于Query和Key，将二者掩码取交集，即mQK＝mQ∩mK，仅保留二者共有的部分；权重矩阵V的输出纬度由mQK来移除； 当残差连接的两端线性层被结构化移除后，其输出与输入维度发生了变化，采用按需填充修补的解决方案，按照残差连接的后层输入维度，填充由残差连接带来的输入，并去除多余部分； S3、按需复用； 通过结构化地移除神经元，来实现按需复用，最小化内存与计算开销。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学杭州创新研究院;北京航空航天大学，其通讯地址为：310052 浙江省杭州市滨江区长河街道炬航弄99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。