合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)赵荣荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利一种面向大语言模型推理的混合键合近存计算加速器获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121524131B 。
龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610051083.X,技术领域涉及:G06F15/78;该发明授权一种面向大语言模型推理的混合键合近存计算加速器是由赵荣荣;葛梦柯设计研发完成,并于2026-01-15向国家知识产权局提交的专利申请。
本一种面向大语言模型推理的混合键合近存计算加速器在说明书摘要公布了:本发明公开了一种面向大语言模型推理的混合键合近存计算加速器,涉及人工智能技术领域,包括片上网络互联起来的存算节点阵列,存算节点阵列集成DRAM晶片中的存储资源与逻辑晶片中的计算资源,存算节点阵列中的每个存算节点包括:存算单元,用于执行矩阵运算并分级缓存模型权重、KV‑Cache及输入矩阵;共享内存,用于缓存输入矩阵的多行向量,缓存并拼接本存算节点及来自其他存算节点的中间计算结果;路由器,用于实现存算节点间基于片上网络的通信,负责中间激活值的拼接与转发;该加速器实现了高效、低功耗的端侧大语言模型推理。
本发明授权一种面向大语言模型推理的混合键合近存计算加速器在权利要求书中公布了:1.一种面向大语言模型推理的混合键合近存计算加速器,其特征在于,包括片上网络互联起来的存算节点阵列,存算节点阵列集成DRAM晶片中的存储资源与逻辑晶片中的计算资源,存算节点阵列中的每个存算节点包括: 存算单元,用于执行矩阵运算并分级缓存模型权重、KV-Cache及输入矩阵; 共享内存,用于缓存输入矩阵的多行向量,缓存并拼接本存算节点及来自其他存算节点的中间计算结果; 路由器,用于实现存算节点间基于片上网络的通信,负责中间激活值的拼接与转发; 其中,所述存算单元包括计算单元阵列、本地缓存和DRAM存储资源,所述DRAM存储资源分为w-bank和s-bank; 每个计算单元阵列是一个包含浮点运算单元的乘累加树阵列,通过本地缓存直接连接至对应的w-bank,用于执行矩阵与向量运算; 本地缓存连接在所述计算单元阵列与所述w-bank之间,为计算单元阵列提供模型权重和KV-Cache,并将计算单元阵列的计算结果写回w-bank的专用数据通道; s-bank用于存储Prefill阶段计算单元阵列执行矩阵运算所需的输入矩阵; w-bank,用于驻留模型权重并支持KV-Cache存储。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室),其通讯地址为:230026 安徽省合肥市高新区望江西路5089号, 中国科学技术大学先进技术研究院未来中心B1205-B1208;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励