买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海天数智芯半导体有限公司申请的专利大语言模型推理方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119204212B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411239985.3，技术领域涉及：G06N5/04；该发明授权大语言模型推理方法、装置、电子设备及存储介质是由朱帅设计研发完成，并于2024-09-05向国家知识产权局提交的专利申请。

本大语言模型推理方法、装置、电子设备及存储介质在说明书摘要公布了：本申请提供一种大语言模型推理方法、装置、电子设备及存储介质，大语言模型包括至少一个Transformer架构，Transformer架构包括变换模块、分块量化模块、Attention模块和FNN模块；该方法包括：通过变换模块对输入数据进行Hadamard变换，获得变换后数据；通过分块量化模块对变换后数据进行分块量化处理，获得量化后数据；通过Attention模块对量化后数据和大语言模型的量化后权重进行处理，获得第一处理结果；通过FNN模块对第一处理结果进行处理获得输出结果。本申请实施例通过对输入数据进行Hadamard变换，然后再对变换后数据进行分块量化，在降低了大语言模型中异常特征的对推理精度的影响，因此，在提高大语言模型推理效率的同时，保证了大语言模型推理的精度。

本发明授权大语言模型推理方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种大语言模型推理方法，其特征在于，所述大语言模型包括至少一个Transformer架构，所述Transformer架构包括变换模块、分块量化模块、注意力机制Attention模块和前馈神经网络FNN模块；所述方法包括： 通过所述变换模块对输入数据进行Hadamard变换，获得变换后数据；所述Hadamard变换是基于Hadamard矩阵的变换方法，所述Hadamard矩阵是由+1和-1元素构成的正交方阵； 通过所述分块量化模块对所述变换后数据进行分块量化处理，获得量化后数据； 通过所述Attention模块对所述量化后数据和所述大语言模型的量化后权重进行处理，获得第一处理结果；所述量化后权重为对所述大语言模型的权重进行分块量化处理获得； 通过所述FNN模块对所述第一处理结果进行处理获得输出结果； 所述通过所述分块量化模块对所述变换后数据进行分块量化处理，获得量化后数据，包括： 按照预设分块规则将所述变换后数据进行分块，获得多个分块数据； 对每个所述分块数据进行量化计算，获得量化后分块数据及对应的缩放因子；其中，多个所述量化后分块数据构成所述量化后数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海天数智芯半导体有限公司，其通讯地址为：201100 上海市闵行区陈行公路2388号3幢101-5室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。