买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉安徽大学申请的专利结合小波特征分析和各向异性损失的注意力稀释优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119940449B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510416785.9，技术领域涉及：G06N3/08；该发明授权结合小波特征分析和各向异性损失的注意力稀释优化方法是由刘玉;叶超凡;刘爽;汪江博;蔺智挺;卢文娟;吴秀龙设计研发完成，并于2025-04-03向国家知识产权局提交的专利申请。

本结合小波特征分析和各向异性损失的注意力稀释优化方法在说明书摘要公布了：本发明涉及大模型领域，特别是涉及一种结合小波特征分析和各向异性损失的注意力稀释优化方法，及其对应的计算机程序产品和自然语言处理设备。该方案首先按照精度等级预设多个初始化量化词表；并结合对输入特征的小波特征分析结果灵活选择初始化量化词表。然后，采用得分感知量化损失或各向异性损失横向各个query与量化点间的距离，实现对量化词表进行分区和更新。最后利用更新后的量化词表将所有query量化为相应的量化点；通过计算量化点与key的内积构建查找表；用查找表中的近似表示的结果，进而实现注意力计算。本发明解决了现有的Transformer中的注意力机制存在的效率较低以及鲁棒性较差的问题。

本发明授权结合小波特征分析和各向异性损失的注意力稀释优化方法在权利要求书中公布了：1.一种结合小波特征分析和各向异性损失的注意力稀释优化方法，其特征在于，其包括： 按照精度等级从低到高的顺序预设n个初始化量化词表；对每一层的输入特征X emb 进行分离小波变换，得到输入特征的低频近似系数A和高频细节系数D；计算出A和D对应的能量分布E low 和E high ；通过下式计算出S的值并根据S选择对应精度等级的初始化量化词表： ， 其中，表示向下取整操作； 计算各个query与初始化量化词表中每个量化点之间的得分感知量化损失并将其作为二者的距离；将每个query分配到距离最近的量化点中，进而得到更新后的量化词表；更新后的量化词表中包含多个独立的量化分区C j ，每个量化分区由一个量化点及其对应的至少一个query构成； 利用更新后的量化词表将所有query量化为相应的量化点；通过计算量化点与key的内积构建查找表；用查找表中相互关联的量化点与键向量k的数据对近似表示所需的查询向量q与键向量k的数据对，进而实现注意力计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽大学，其通讯地址为：230601 安徽省合肥市经开区九龙路111号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。