买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海曲速超为技术有限公司申请的专利一种支持大模型推理过程上下文信息安全保存和恢复的硬件系统、方法及应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118963663B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411033076.4，技术领域涉及：G06F3/06；该发明授权一种支持大模型推理过程上下文信息安全保存和恢复的硬件系统、方法及应用是由段勤设计研发完成，并于2024-07-30向国家知识产权局提交的专利申请。

本一种支持大模型推理过程上下文信息安全保存和恢复的硬件系统、方法及应用在说明书摘要公布了：本发明公开了一种支持大模型推理过程中上下文信息安全保存和恢复的硬件系统，所述硬件系统包括：推理主机和存储系统；所述推理主机通过USB接口与所述存储系统进行通讯；所述推理主机中包括：内存、中央处理器、硬盘、GPUNPUTPU模块；所述存储系统中包括：ARMCortex‑M7芯片、DMAFIFO模块、SDMMC接口、USART接口、GPIO接口；所述存储系统通过SDMMC接口挂载Flash存储芯片，用于保存大模型推理过程中的K、V矩阵数据；所述存储系统和所述Flash存储芯片或所述推理主机和所述存储系统之间采用USB3.0和或SDIO3.0UHS‑2协议进行数据传输。本发明还公开了一种上下文信息保存和恢复方法及应用。

本发明授权一种支持大模型推理过程上下文信息安全保存和恢复的硬件系统、方法及应用在权利要求书中公布了：1.一种支持大模型推理过程中上下文信息安全保存和恢复的硬件系统，其特征在于，所述硬件系统对K、V缓存进行切片推理，使数据加载和推理计算并行进行，降低上下文切换带来的推理延迟；所述KV缓存的容量大小通过以下公式计算： KV缓存容量大小＝4000maxseqlength*4096dim*32layer*2K,V*2bytes， 其中，maxseqlength表示最大序列长度，即模型在推理过程中能处理的最大token数；所述dim表示每个token的向量维度；所述layer表示大语言模型的层数；所述2K,V表示K和V矩阵各占一份存储空间；所述bytes表示每个数据项所占的字节数； 所述系统包括：推理主机和存储系统； 所述推理主机通过USB接口与所述存储系统进行通讯；所述推理主机上设置有USB驱动，所述USB驱动是唯一对外访问的接口，所有的访问控制通过所述USB驱动处理，并对非法访问和或无授权访问需求进行拦截；通过设置授权ID在访问时进行交互验证实现访问是否合法和或是否获得授权的判断； 所述推理主机中包括：内存、中央处理器、硬盘、GPUNPUTPU模块； 所述存储系统中包括：ARMCortex-M7芯片、DMAFIFO模块、SDMMC接口、USART接口、GPIO接口； 所述存储系统通过SDMMC接口挂载Flash存储芯片，用于持久化保存大模型推理过程中的K、V矩阵数据，保证上下文信息在断电或系统重启后仍然可用； 所述存储系统和所述Flash存储芯片或所述推理主机和所述存储系统之间采用USB3.0和或SDIO3.0UHS-2协议进行数据传输； 所述推理主机的USB接口连接到存储系统的USBSwitch，USBSwitch通过USBHSPHY将数据传输到DMAFIFO模块，数据经过DMAFIFO模块处理后，通过SDMMC接口传输到SDFLASH进行存储。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海曲速超为技术有限公司，其通讯地址为：201203 上海市浦东新区中国(上海)自由贸易试验区郭守敬路498号8幢19号楼3层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。