西安电子科技大学;中国船舶集团有限公司综合技术经济研究院朱光明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学;中国船舶集团有限公司综合技术经济研究院申请的专利一种同时识别与分割手绘草图的方法、系统、设备与介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116012858B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211740200.1,技术领域涉及:G06V30/32;该发明授权一种同时识别与分割手绘草图的方法、系统、设备与介质是由朱光明;张亮;汪思远;高尔扬;李宁设计研发完成,并于2022-12-31向国家知识产权局提交的专利申请。
本一种同时识别与分割手绘草图的方法、系统、设备与介质在说明书摘要公布了:一种手绘草图同时识别与分割的方法、系统、设备与介质,方法包括:从手绘草图采集软件得到可缩放矢量图形格式的手绘草图,转换为RGB格式图像和图格式数据;构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络;将RGB格式手绘草图图像输入卷积神经网络流,得到表征手绘草图类别的全局特征和类别识别结果;将图格式的手绘草图数据输入给图卷积网络流,得到笔画级特征和点级特征,并把全局特征、笔画级特征、点级特征拼接,实现点级分割;利用KL散度方法实现对分割结果的监督;其系统、设备及介质用于对手绘草图同时识别与分割;本发明能够同时进行手绘草图识别和分割任务,较仅分割或仅识别任务更高效,提高了手绘草图识别与分割的精度。
本发明授权一种同时识别与分割手绘草图的方法、系统、设备与介质在权利要求书中公布了:1.一种同时识别与分割手绘草图的方法,其特征在于:具体包括以下步骤: S1,从手绘草图采集软件中得到手绘草图的可缩放矢量图形格式数据,将手绘草图可缩放矢量图形格式的数据转化为RGB图像和图格式的数据;将可缩放矢量图形格式数据看作一个树状结构,树状结构按照层次关系分别为文件、图层、笔画;从第三层次笔画级数据可得到手绘草图点序列,S={Posi|i=1,2,…,N},N表示手绘草图中点的数量,Posi表示整个手绘草图中的第i个点;手绘草图绘制序列中每一个点表示为一个三元组,Posi=<x,y,st>,x表示当前点的横坐标,y表示当前点的纵坐标,st表示当前点所在的笔画序号;将手绘草图点序列转化为图格式数据时,以点为图节点,笔画内相邻节点之间存在边,以此创建节点集合和邻接矩阵; S2,构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络; 其中,构建的基于卷积神经网络和图卷积网络的双流网络模型同时接受同一个手绘的RGB图像格式数据和图结构数据作为输入,卷积神经网络流采用ResNet18作为骨干网络,图卷积网络流采用四层动态图卷积作为骨干网络,卷积神经网络流给图卷积网络流提供全局特征和分类结果推导出的组件预测概率作为监督信息;构建的基于卷积神经网络和图卷积网络的双流网络模型在训练过程中的损失函数为L=Lc+λ1Ls+λ2Lkl,其中Lc为卷积神经网络流的手绘类别分类的交叉熵损失,Ls为图卷积网络流的点级组件预测的交叉熵损失,λ1和λ2为权重系数; S3,将S1得到的RGB格式的手绘草图图像输入给S2得到的卷积神经网络流,得到表征手绘草图类别的全局特征和类别识别结果;具体为:将RGB格式的手绘草图图像输入给卷积神经网络流,卷积神经网络的最后一层全连接层的特征作为表征手绘类别的全局特征,分类器的输出作为手绘类别的识别结果;根据每种手绘类别包含的组件的先验信息,构建手绘类别到组件类别的转换矩阵其中当第i类手绘包含第j种组件时Mi,j=1,否则Mi,j=0;在S3得到NC维手绘类别的识别概率后,计算可以得到组件的NS维预测概率S4,将S1得到的图格式的手绘草图数据输入给图卷积网络流,得到笔画级特征和点级特征,并把全局特征、笔画级特征、点级特征进行拼接,进而实现点级分割; 具体为:将图格式的手绘草图数据输入给图卷积网络流,先对可缩放矢量图形格式的数据进行采样操作,确保输入给图卷积网络的节点的数目恒定为NP;然后对图卷积网络学习到的点级特征,根据可缩放矢量图形格式中包含的每个手绘的每个笔画包含的点的信息,对属于同一个笔画的所有点的特征进行池化操作,得到笔画级特征;把每个点的点级特征、其所属的笔画级特征、以及卷积神经网络流输出的全局特征进行拼接,得到每个点的多尺度特征,进而通过分类器进行组件类别预测,得到第i个点的组件预测概率S5,根据每个手绘草图类别包含的组件类别的先验信息以及根据S3得到的卷积神经网络流的类别识别结果,利用KL散度方法实现对S4分割结果的监督;对S4中得到的按下式计算得到组件级的预测概率其中Vj表示第j个笔画包含的点的集合,|Vj|表示集合中点的个数,J表示该手绘中笔画的个数;进而利用KL散度实现类别识别结果对组件预测概率的监督,监督方式为神经网络增加损失函数使用损失函数L对整个双流网络模型进行训练优化,使得该模型可以同时进行手绘草图的识别与分割,并利用识别结果来优化分割结果,提高手绘草图识别与分割的精度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学;中国船舶集团有限公司综合技术经济研究院,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励