买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学;上海明略人工智能(集团)有限公司申请的专利界面操作指令生成方法、电子设备、存储介质及程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120704792B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511212666.8，技术领域涉及：G06F9/451；该发明授权界面操作指令生成方法、电子设备、存储介质及程序产品是由姜平;宋洁;傅天宇;赵晨旭;苏安炀;虞喆;李梦林;黄楠;卫海天;吴明辉;余嘉伟;忻役设计研发完成，并于2025-08-28向国家知识产权局提交的专利申请。

本界面操作指令生成方法、电子设备、存储介质及程序产品在说明书摘要公布了：本申请实施例提供一种界面操作指令生成方法、电子设备、存储介质及程序产品。涉及人机交互领域、以及计算机视觉技术领域，该方法包括：基于操作界面的视觉特征，以及用户指令的当前语义特征，得到融合特征；依据融合特征，采用区域框回归模块，生成当前界面元素对应的目标区域框，当前界面元素为操作界面中可交互的元素，目标区域框用于表示当前界面元素的可交互区域，区域框回归模块为基于标注了参考区域框的参考界面元素训练得到的；生成基于目标区域框执行操作的操作指令。本申请实施例的技术方案中，本申请解决了相关技术中存在界面元素识别不准确，导致自动操作执行准确性不理想的技术问题。

本发明授权界面操作指令生成方法、电子设备、存储介质及程序产品在权利要求书中公布了：1.一种界面操作指令生成方法，其特征在于，包括： 基于操作界面的视觉特征，以及用户指令的当前语义特征，得到融合特征； 依据所述融合特征，采用区域框回归模块，生成当前界面元素对应的目标区域框，所述当前界面元素为所述操作界面中可交互的元素，所述目标区域框用于表示所述当前界面元素的可交互区域，所述区域框回归模块为基于标注了参考区域框的参考界面元素训练得到的； 生成基于所述目标区域框执行操作的操作指令； 所述方法还包括：按照所述参考区域框和真实区域框之间的重叠程度，确定区域损失； 按照所述参考区域框的参考坐标，与所述真实区域框的真实坐标之间的偏差程度，确定坐标损失；基于所述区域损失和所述坐标损失，确定综合损失；训练所述区域框回归模块直到所述综合损失小于预定损失阈值，得到训练好的所述区域框回归模块； 其中，所述区域损失包括使用交并比得到，所述交并比为预测区域框与真实区域框的交集面积与并集面积的比值；或是通过引入惩罚项，使得预测出的区域框在面积上接近真实框，并且在形状和大小上也接近；或是通过惩罚区域框和真实框的中心点距离，使得预测出的区域框在位置更接近真实框； 所述方法还包括：基于标注了所述参考区域框的所述参考界面元素，构造初始训练集； 调整所述参考区域框得到多个数据增强框，所述多个数据增强框以所述参考区域框为最大范围边界；基于所述多个数据增强框，对所述初始训练集进行扩充，得到用于训练所述区域框回归模块的目标训练集。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学;上海明略人工智能(集团)有限公司，其通讯地址为：100871 北京市海淀区颐和园路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。