买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国电建集团西北勘测设计研究院有限公司申请的专利基于屏幕识别的数字人交互控制方法、系统及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120066282B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510550543.9，技术领域涉及：G06F3/01；该发明授权基于屏幕识别的数字人交互控制方法、系统及设备是由韩飞宇;王瑞欢;刘晓东;王晨;郑强;马帅;崔述刚;王翰宇;赵智华;徐艳设计研发完成，并于2025-04-29向国家知识产权局提交的专利申请。

本基于屏幕识别的数字人交互控制方法、系统及设备在说明书摘要公布了：本公开提供了一种基于屏幕识别的数字人交互控制方法、系统及设备，涉及数据处理技术领域。该方法包括：基于应用系统的信息解析，构建应用系统知识图谱；获取用户输入数据，并基于应用系统知识图谱对用户输入数据进行意图分类；响应于意图分类的结果为系统操作类意图，捕获当前屏幕的界面图像，并对界面图像进行语义分割，生成包含界面组件功能描述与坐标位置的键值字典，基于键值字典构建应用系统功能搜索树；基于应用系统知识图谱以及应用系统功能搜索树，生成从当前页面至目标功能页面的操作指令序列，并根据操作指令序列进行拟人化操作。本公开中的技术方案可以自主理解界面内容并执行拟人化交互操作，具有更高的泛化性和灵活性。

本发明授权基于屏幕识别的数字人交互控制方法、系统及设备在权利要求书中公布了：1.一种基于屏幕识别的数字人交互控制方法，其特征在于，包括： 基于应用系统的信息解析，构建应用系统知识图谱； 获取用户输入数据，并基于所述应用系统知识图谱对所述用户输入数据进行意图分类； 响应于所述意图分类的结果为系统操作类意图，捕获当前屏幕的界面图像，并对所述界面图像进行语义分割，生成包含界面组件功能描述与坐标位置的键值字典，基于所述键值字典构建应用系统功能搜索树； 基于所述应用系统知识图谱以及所述应用系统功能搜索树，生成从当前页面至目标功能页面的操作指令序列，并根据所述操作指令序列进行拟人化操作； 其中，所述对所述界面图像进行语义分割，生成包含界面组件功能描述与坐标位置的键值字典，基于所述键值字典构建应用系统功能搜索树，包括： 对所述界面图像进行语义分割，确定各界面组件对应的目标区域； 对所述目标区域进行光学字符识别，获取文本特征向量；采用卷积神经网络对目标区域内的图标进行图像特征提取，生成图标特征向量；将所述文本特征向量和所述图标特征向量融合，生成融合特征向量；基于所述融合特征向量，计算界面组件的功能类别：，其中，表示分类器权重矩阵，表示分类器偏置项，表示归一化函数，表示第个界面组件的功能类别，表示所述融合特征向量；结合所述功能类别与所述目标区域坐标位置，生成界面组件功能描述与坐标位置的键值字典； 将所述键值字典中的功能类别作为功能搜索树节点标识，坐标位置作为节点属性，构建功能搜索树节点；在所述功能搜索树节点进行相应交互操作后，更新界面图像并生成新的键值字典，扩展新的功能搜索树节点；将新生成的功能搜索树节点连接至已有功能搜索树节点，逐级扩展，构建完整的应用系统功能搜索树。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国电建集团西北勘测设计研究院有限公司，其通讯地址为：710065 陕西省西安市雁塔区丈八东路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。