杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)张留洋获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)申请的专利用于大型语言模型推理的KV缓存压缩与逐出词元恢复方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120975245B 。
龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511475772.5，技术领域涉及：G06N5/04；该发明授权用于大型语言模型推理的KV缓存压缩与逐出词元恢复方法及系统是由张留洋;沈启民;李臻;林晓阳;赵巍胜设计研发完成，并于2025-10-16向国家知识产权局提交的专利申请。
本用于大型语言模型推理的KV缓存压缩与逐出词元恢复方法及系统在说明书摘要公布了：本公开涉及人工智能与自然语言处理技术领域，具体涉及一种用于大型语言模型推理的KV缓存压缩与逐出词元恢复方法及系统，所述方法包括：对于当前Transformer层计算的第i个词元的查询向量，计算其与所有键向量的注意力分数；基于所述注意力分数执行V缓存动态更新操作；针对第i个词元，在基于全部完成V缓存动态更新操作之后，使用V缓存存储池中更新后的值向量集合与预计算的注意力分数部分积P进行注意力计算。上述技术方案解决了现有技术中显存占用与计算效率难以协同优化的技术问题，具有动态管理KV缓存显存占用、保持模型推理质量、提升计算效率的优点。
本发明授权用于大型语言模型推理的KV缓存压缩与逐出词元恢复方法及系统在权利要求书中公布了：1.一种用于大型语言模型推理的KV缓存压缩与逐出词元恢复方法，其特征在于，包括： 在LLM推理过程中，对于至少一个Transformer层执行以下操作： 对于当前Transformer层计算的第i个词元的查询向量，计算其与当前Transformer层计算的所有键向量的注意力分数 其中，j=1，2……，n；n为当前Transformer层计算的词元总数； 基于所述注意力分数执行V缓存动态更新操作，包括： 时，执行逐出操作，从V缓存存储池中移除第j个词元的值向量 且第j个词元的值向量已被逐出时，执行恢复操作，包括：通过计算式重新生成第j个词元的值向量并添加至V缓存存储池；其中，为预计算的融合权重矩阵，分别为当前Transformer层的键投影矩阵和值投影矩阵；T为预设阈值。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)，其通讯地址为：311115 浙江省杭州市余杭区瓶窑镇双红桥街166号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励