中国科学院半导体研究所鉴海防获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉中国科学院半导体研究所申请的专利基于块级层跳过的语言模型推理加速的方法及训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121525887B 。
龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610052522.9，技术领域涉及：G06N5/04；该发明授权基于块级层跳过的语言模型推理加速的方法及训练方法是由鉴海防;李越豪;张凌赫;王洪昌设计研发完成，并于2026-01-15向国家知识产权局提交的专利申请。
本基于块级层跳过的语言模型推理加速的方法及训练方法在说明书摘要公布了：本公开提供了一种基于块级层跳过的语言模型推理加速的方法及训练方法，属于大规模语言模型的动态推理与条件计算技术领域。该方法包括：将语言模型划分为多个连续的执行块，每个执行块包括β个连续的变换器层；将文本序列输入语言模型中，在每个执行块的入口处，将文本序列中的第t个词元在当前执行块起始层的嵌入表示输入至训练好的路由器模块，生成二值门控向量；根据二值门控向量，将执行块划分为多层跳过段和单层保留段；按照层序依次遍历段集合中的每段，在每段为多层跳过段的情况下，基于多层跳过段的起始层的嵌入表示，输出多层跳过段结束后下一段的起始层的嵌入表示。
本发明授权基于块级层跳过的语言模型推理加速的方法及训练方法在权利要求书中公布了：1.一种基于块级层跳过的语言模型推理加速的方法，其特征在于，包括： 将语言模型划分为多个连续的执行块，每个执行块包括β个连续的变换器层，其中，β大于1； 将文本序列输入所述语言模型中，在每个执行块的入口处，将所述文本序列中的第t个词元在当前执行块起始层的嵌入表示输入至训练好的路由器模块，生成二值门控向量，所述二值门控向量中的第j位用于指示是否执行所述执行块内第j个变换器层；其中，0＜t≤T，T为所述文本序列的长度，0＜j≤β； 根据所述二值门控向量，将所述执行块划分为多层跳过段和单层保留段，将所述多层跳过段和所述单层保留段构成按层序排列的段集合； 按照层序依次遍历所述段集合中的每段，在所述每段为所述多层跳过段的情况下，基于所述多层跳过段的起始层的嵌入表示，输出所述多层跳过段结束后下一段的起始层的嵌入表示； 将当前执行块中最后一个段的输出作为所述当前执行块的最终输出，并作为下一执行块的输入嵌入，直至输出最后一个执行块的输出表示。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院半导体研究所，其通讯地址为：100083 北京市海淀区清华东路甲35号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励