浙江星汉信息技术股份有限公司李海南获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江星汉信息技术股份有限公司申请的专利基于稀疏注意力的大模型底层数据处理方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121029778B 。
龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511564042.2,技术领域涉及:G06F16/23;该发明授权基于稀疏注意力的大模型底层数据处理方法及系统是由李海南;梁尔真;王玲丽;吴存锋;尤培原;王园设计研发完成,并于2025-10-30向国家知识产权局提交的专利申请。
本基于稀疏注意力的大模型底层数据处理方法及系统在说明书摘要公布了:本发明提出了基于稀疏注意力的大模型底层数据处理方法及系统,涉及数据处理技术领域,获取待处理需求数据,根据所述待处理需求数据设置任务特征编码,进行特征有用和无用的分析,获取优先级系数,进行优先级评分,生成动态稀疏掩码;根据动态稀疏掩码的密度信息对所述长文本进行多层级窗口划分,获得多层级局部窗口及其窗口稀疏掩码,对每个局部窗口进行注意力分析,获取窗口关键节点,建立多窗口关键节点连接网络;获取待处理需求数据的更新数据,根据所述更新数据获取更新稀疏编码,与动态稀疏掩码,本发明实现对底层数据处理的高效高精度灵活分析处理。
本发明授权基于稀疏注意力的大模型底层数据处理方法及系统在权利要求书中公布了:1.基于稀疏注意力的大模型底层数据处理方法,其特征在于,所述方法包括: S1、获取待处理需求数据,根据所述待处理需求数据设置任务特征编码,根据所述任务特征编码进行特征有用和无用的分析,获取优先级系数,进行优先级评分,根据优先级评分生成动态稀疏掩码; S2、根据所述动态稀疏掩码的密度信息对长文本进行多层级窗口划分,获得多层级局部窗口及其窗口稀疏掩码,对每个局部窗口进行注意力分析,获取窗口关键节点,建立多窗口关键节点连接网络; S3、获取待处理需求数据的更新数据,根据所述更新数据获取更新稀疏编码,与动态稀疏掩码进行对比差异分析,进而对多窗口关键节点连接网络进行更新,获得底层数据处理信息; 其中,所述S1包括: 对待处理需求数据进行需求特征提取,获得需求特征数据; 对所述需求特征数据进行任务类型编码,获得初始任务类型编码数据; 根据所述初始任务类型编码数据获取长文本的语义主题分布,获得窗口特征数据,根据所述窗口特征数据对初始任务类型编码数据进行更新,获得任务特征编码; 根据任务特征编码对长文本的token进行优先级分析,获得每个token的优先级评分; 根据所述优先级评分对所述初始任务类型编码数据进行更新,获得动态稀疏掩码; 其中,所述根据任务特征编码对长文本进行优先级分析,获得优先级评分,包括: 根据任务特征编码对需求特征数据进行特征重要程度分析,获得有用特征数据和无用特征数据,根据所述有用特征数据结合无用特征数据对需求特征数据对应的任务特征编码获取任务优先级系数; 根据所述优先级系数对所述任务特征编码进行优先级设置,获得任务特征编码的优先级评分。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江星汉信息技术股份有限公司,其通讯地址为:310000 浙江省杭州市余杭区五常街道西溪八方城8幢601室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励