济南浪潮数据技术有限公司陈保平获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉济南浪潮数据技术有限公司申请的专利一种缓存管理方法、装置、设备、介质和产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120994714B 。
龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511517812.8，技术领域涉及：G06F16/2455；该发明授权一种缓存管理方法、装置、设备、介质和产品是由陈保平设计研发完成，并于2025-10-23向国家知识产权局提交的专利申请。
本一种缓存管理方法、装置、设备、介质和产品在说明书摘要公布了：本发明涉及人工智能技术领域，特别是涉及一种缓存管理方法、装置、设备、介质和产品，方法包括：实时评估不同注意力头对当前推理任务的重要性分值，并根据重要性分值，动态地为每个注意力头的键值缓存分配不同层级的存储资源，包括存储位置和数值精度，从而在保证模型输出质量，尤其是关键信息不丢失的前提下，最大化的节省内存，进而提升推理速度。
本发明授权一种缓存管理方法、装置、设备、介质和产品在权利要求书中公布了：1.一种缓存管理方法，其特征在于，包括： 在模型推理过程中，实时计算当前层中目标注意力头的重要性分值，所述目标注意力头是当前层中的多个注意力头中的任一个； 根据当前层中目标注意力头的重要性分值，确定所述目标注意力头生成的键值缓存对应的存储层级，所述存储层级包括存储位置和存储精度； 根据各个注意力头生成的键值缓存对应的存储位置和存储精度，存储键值缓存; 根据各个注意力头生成的键值缓存对应的存储位置和存储精度，存储键值缓存，包括： 对当前层的所有注意力头的重要性分值进行排序，得到第一排序结果； 依照第一排序结果，确定最高重要性分值的键值缓存； 确定所述最高重要性分值的键值缓存对应的存储层级是否可用； 若可用，则将最高重要性分值的键值缓存按照存储精度存储至对应的缓存位置； 若不可用，则对所述最高重要性分值的键值缓存对应的存储层级进行级别调整；并根据所述最高重要性分值的键值缓存对应的级别调整后的存储位置和存储精度，存储键值缓存； 在完成最高重要性分值的键值缓存的存储后，依次处理下一键值缓存，直至完成各个注意力头生成的键值缓存的存储。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人济南浪潮数据技术有限公司，其通讯地址为：250000 山东省济南市自由贸易试验区济南片区新泺大街1166号奥盛大厦3号楼2534-89；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励