买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室;杭州电子科技大学申请的专利一种基于Transformer自注意力的可视分析方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116975253B 。

龙图腾网通过国家知识产权局官网在2026-05-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310750125.5，技术领域涉及：G06F16/34；该发明授权一种基于Transformer自注意力的可视分析方法及装置是由俞再亮;裘云蕾;潘淑;吴向阳;刘真;徐岗;孙海波;林裕皓;高飞设计研发完成，并于2023-06-25向国家知识产权局提交的专利申请。

本一种基于Transformer自注意力的可视分析方法及装置在说明书摘要公布了：本发明公开了一种基于Transformer自注意力的可视分析方法及装置。本发明通过可视分析图表了解深度学习模型的训练层及注意力头的自注意力的整体分布情况及统计规律，并可通过数据链接图和矩阵图具体训练样本查看自注意力在实例中的联系情况；计算机视觉领域的注意力可视分析揭示在训练任务中像素块之间的相互关注性，通过全局归一化和局部归一化两种方式查看不同层和头之间的自注意力分布情况，获得下游任务得出结果的过程。通过本发明，研究人员利用统计分析图表，可直观地观察Transformer模型内部注意力头的值分布情况，选择感兴趣的注意力头。且通过具体的单个注意力头可视化，研究人员可以分析注意力头在具体任务中所发挥的作用，帮助研究人员改进优化模型。

本发明授权一种基于Transformer自注意力的可视分析方法及装置在权利要求书中公布了：1.一种基于Transformer自注意力的可视分析方法，其特征在于，该方法包括以下步骤： 1模型训练：用户利用自己构建的模型进行训练； 2数据获取：用户利用提供的api接口保存模型在训练过程中产生的自注意力数据及原始输入数据； 3日志写入：利用用户保存的模型训练数据，将其改写为系统所能解析的日志数据格式，将其馈入到可视分析系统中得到可视分析结果；所述可视分析系统中得到可视分析结果，具体为： 可视分析系统对数据的分析有自然语言处理领域注意力可视分析和对计算机视觉领域注意力可视分析两种； 所述自然语言处理领域的注意力可视分析包括统计信息表、统计信息图和注意力可视化三大组件，通过可视分析图表了解深度学习模型的训练层及注意力头的自注意力的整体分布情况及统计规律，同时通过数据链接图和矩阵图具体训练样本查看自注意力在实例中的联系情况； 所述计算机视觉领域的注意力可视分析用于表示在训练任务中像素块之间的相互关注性，通过全局归一化和局部归一化两种方式查看不同层和头之间地注意力分布情况，获得下游任务是如何得出相应结果的数据； 对于所述自然语言处理领域注意力可视分析具体为： 3.1采用统计信息表地形式展示模型所有训练层和注意力头的自注意力整体情况，用户可通过最大值max、最小值min、四分位差quar以及方差vari不同统计指标进行排序查看； 3.2同时提供统计信息图的形式展示自注意力信息，以旭日图的形式排列各训练层和各注意力头的自注意力信息，柱形图的起始位置编码注意力头的自注意力最大值、最小值特征，颜色编码方差特征，鼠标在相应注意力头上悬停，可显示每个注意力头的具体信息； 3.3同时旭日图支持多种过滤操作，自主选择不同的过滤标准，用户能够发现感兴趣或者自注意力异常的注意力头，在单个注意力头自注意力可视分析图表中探索原因；在用户选定单个注意力头后，提供两种可视分析图表展示各个头内部关于输入字符的自注意力分布； 所述计算机视觉领域的注意力可视分析，具体为：对于注意力图数据attn_map，维度为L,num_heads,h,w,h,w，其中L为模型的层数，num_heads为注意力头的个数，h为注意力图的高度，w为注意力图的宽度；h，w对应用户点击的可视化图像块的x，y值，即用户点击一个图像块，算法会请求处理L×num_heads张注意力图； 用户根据需求选择全局归一化方式或局部归一化方式；首先，用户选择需要可视分析的图像，然后选择归一化的方式，点击图像中的图像块，系统会请求该图像块的坐标x，y所对应的注意力图数据并进行归一化处理；经过归一化处理后的注意力图，使用JET算法将其变成热力图，值越大的地方越呈现红色加以重视；当选择全局归一化时，允许用户滑动比例r来更清楚地查看注意力值；热力图乘以比例r后，若有值大于255，因提前有设置阈值，则会将出现大于255的值自动设为255；最后将热力图叠加到原图上以展示注意力图在原图中的作用； 4结果分析：用户查看可视分析系统获得的可视分析结果，通过多维度的可视分析图表，以及与图表的交互联动，逐步分析模型结果，探索模型内部自注意力机制。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室;杭州电子科技大学，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。