买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种基于图像理解的跨平台脚本记录和迁移方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115390845B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210961933.1，技术领域涉及：G06F8/41；该发明授权一种基于图像理解的跨平台脚本记录和迁移方法是由张天;潘敏学;张昊设计研发完成，并于2022-08-11向国家知识产权局提交的专利申请。

本一种基于图像理解的跨平台脚本记录和迁移方法在说明书摘要公布了：本发明公开一种基于图像理解的跨平台脚本记录和迁移方法，分录制和回放两个阶段，由录制阶段的导出截图脚本部分，回放阶段的训练目标检测模型、重播应用的组件抽取、训练对比学习模型，基于图像理解匹配脚本组件四个部分组成。具体步骤为：对一个移动应用在点击过程中通过获取其边界记录组件截图，生成平台无关脚本；基于开源的Rico数据集训练一个能从app界面检测出所有组件边界的目标检测YOLOv3模型；基于RICO数据集中标注的组件图片训练理解图像语义的对比学习模型MOCOV2；使用YOLOv3将目标平台app的GUI中的所有组件图片提取出，用MOCOV2进行脚本中记录的组件图片匹配，获得迁移到目标平台的脚本。

本发明授权一种基于图像理解的跨平台脚本记录和迁移方法在权利要求书中公布了：1.一种基于图像理解的跨平台脚本记录和迁移方法，其特征在于，包括如下步骤： 步骤一、设计录制脚本的格式，用于记录源app中的点击事件流和图片信息；录制过程中记录点击的组件的坐标、组件的截图、ID等，生成一个平台无关的脚本，用于后续的重播过程； 步骤二、基于开源的Rico数据集提供的UI截图和视图结构，将数据集的sematic_annotations转换为YOLOv3模型能使用的格式，用此格式的数据集训练YOLOv3模型；此YOLOv3模型将用于后续重播时的UI界面候选组件的提取； 步骤三、利用Rico数据集中标注的UI界面中组件的边界坐标，提取出大量的组件图片，使用与训练好的对比学习Mocov2模型，学习UI组件的特征；此模型用于后续重播时组件的匹配和选取； 步骤三具体包括以下步骤： A.从Rico数据集当中提取出组件图片：根据semantic_annotation中的组件bounds标注，使用dict.has_key检查是否含有children属性判断一个组件是否在xml结构上无子节点，如果是叶节点即单个存在的组件，则将其提取出来作为一个组件图片；将所有UI中的单个组件的图片提取出后，作为后续Mocov2使用的数据集，此处的图片数据集为没有标注的无标签数据； B.使用Mocov2方法训练resnet-50模型：Mocov2方法中定义了两个encoder，一个queryencoder和一个momentumencoder，其英文简称对应为Q和M，Q的encoder用于将原图编码，M一般初始化为与Q相同，在模型训练的过程中，M会设置一个大动量极其缓慢的更新，让M将所有的其他样本进行编码维护一个大且一致的字典，每个epoch只将字典中的一个mini_batch的数据编码用新的M更新； 步骤四、重播阶段，在根据脚本记录的源app组件图片—即查询图片query—进行每一步点击之前，对目标app的UI界面：获取当前的UI界面截图，使用步骤二中的YOLOv3模型将此UI界面中的所有组件定位且提取出每个组件的图片，将这些组件图片集合称为keySet，使用步骤三中获得的Mocov2模型在keySet中查询与query语义最相近的图片，进行坐标定位点击； 步骤四具体包括以下步骤： A.获取目标程序的对应UI界面文件：编写python程序，通过uiautomator2.connect连接到虚拟机或者实机，根据app的包名打开目标app；对到达某个状态U的目标界面，设当前重播的操作为Ou，则首先通过uiautomator2获取目标app的截图Screenshot，将其下载到当前文件夹下，再做后续的组件匹配和定位的工作； B.从抽取的目标Screenshot中抽取出每一个组件和其bounds：将Screenshot转换成YOLOv3模型需要的尺寸后，使用模型进行boxes的预测；将Screenshot中通过YOLOv3预测出的置信度高于0.1的组件全部提取出来，作为匹配的候选集合keySet； C.通过Ou中记录的组件截图Sq，使用步骤三中学的encoder模型进行keySet中语义相似组件的匹配；在步骤三中学习到的resnet50网络，将组件图片进行特征编码以进行语义的理解；将Sq通过resnet50进行特征编码得到Vq，将keySet中的所有组件图片同样通过resnet50进行特征编码，之后将Vq与keySet中的所有特征向量进行欧式距离度量，选取距离最近的特征向量Vt，Vt对应的组件Wt即为O在目标app中当前界面中所需要操作的小组件，获取其在UI界面中的绝对坐标C； D.根据目标组件的绝对坐标C操作目标app进入下一个状态，并且记录对应的脚本：在得到目标组件的bounds之后，使用点击bounds中心点的方式完成迁移后的动作，使用uiautomator2去实现点击事件，并且同时记录下步骤一中定义格式的operationOt；至此即完成了一次O从源平台的app到目标app的迁移； 步骤五、重复步骤四，按步骤一定义的方式记录下新的脚本，直至整个脚本完成跨平台迁移。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210093 江苏省南京市鼓楼区汉口路22号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。