买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川互慧软件有限公司申请的专利基于多模态视觉识别的跨平台GUI测试脚本生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120234252B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510427182.9，技术领域涉及：G06F11/3668；该发明授权基于多模态视觉识别的跨平台GUI测试脚本生成方法是由杨亚东;姜超;罗强设计研发完成，并于2025-04-07向国家知识产权局提交的专利申请。

本基于多模态视觉识别的跨平台GUI测试脚本生成方法在说明书摘要公布了：本发明涉及软件测试自动化技术领域，具体而言，涉及基于多模态视觉识别的跨平台GUI测试脚本生成方法，通过本发明所提供的方法，主要包括对预处理后的基础数据分别发送至视觉通道和文本通道处理，视觉通道通过YOLOv5模型对基础数据进行元素检测得到第一识别结果，文本通道通过CRNN‑OCR模型对基础数据进行文字识别得到第二识别结果；将第一识别结果和第二识别结果进行特征融合，输出至脚本生成器。通过上述方法，不再使用常规传统工具进行处理，而采用了一个双通道的处理层，分别对当前的基础数据进行分析和提取，简化了工作流程，大幅降低了由于前端框架升级导致较多的选择器失效的概率。

本发明授权基于多模态视觉识别的跨平台GUI测试脚本生成方法在权利要求书中公布了：1.基于多模态视觉识别的跨平台GUI测试脚本生成方法，其特征在于，包括： 获取需要处理的基础数据，所述基础数据包括图像数据或者视频数据，对基础数据进行预处理； 对预处理后的基础数据分别发送至视觉通道和文本通道处理，所述视觉通道通过YOLOv5模型对基础数据进行元素检测得到第一识别结果，所述文本通道通过CRNN‑OCR模型对基础数据进行文字识别得到第二识别结果； 将第一识别结果和第二识别结果进行特征融合，通过CNN进行布局关系解析，将所获得的解析结果输出至脚本生成器，通过脚本生成器分别生成可执行测试脚本； 所述将第一识别结果和第二识别结果进行特征融合包括跨模态注意力对齐，包括： 进行双线性注意力交互： 进行层次化注意力聚合，包括采用多头机制并行计算多粒度关联： 进行残差特征融合： 设置损失函数，进行对比损失优化； 式中，为第一识别结果与第二识别结果的跨模态相似度得分，为第一识别结果的装置，为第二识别结果中文本序列中第个词或嵌入向量，为多头注意力函数，为向量拼接函数，为第1个到第k个注意力头的计算结果，为多头注意力输出的线性变换矩阵，为进行残差特征融合后的第一识别结果，为初始的第一识别结果，为层归一化函数，为每一行对应一个视觉区域与所有文本词的关联强度，为第二识别结果，和均为投影矩阵，为进行残差特征融合后的第二识别结果，为的转置，为参数矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川互慧软件有限公司，其通讯地址为：621000 四川省绵阳市科技城新区创新中心11号楼607室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。