哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)高翠芸获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)申请的专利基于扩散模型和知识蒸馏的粗细粒度渐进前端代码生成系统及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120892029B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511417994.1,技术领域涉及:G06F8/30;该发明授权基于扩散模型和知识蒸馏的粗细粒度渐进前端代码生成系统及方法是由高翠芸;廖清;刘川意;韩培义;顾钊铨;吴凡设计研发完成,并于2025-09-30向国家知识产权局提交的专利申请。
本基于扩散模型和知识蒸馏的粗细粒度渐进前端代码生成系统及方法在说明书摘要公布了:本发明提供一种基于扩散模型和知识蒸馏的粗细粒度渐进前端代码生成系统及方法,该系统包括界面骨架扩散生成模块、界面骨架代码蒸馏模块和前端代码渐进式融合模块;界面骨架扩散生成模块用于生成面向UI骨架的有条件的离散扩散模型,理解输入的像素图中UI组件的布局,完成组件的布局关系的提取;界面骨架代码蒸馏模块用于基于知识蒸馏技术,通过学习教师模型标注的布局结构和布局代码关系,完成布局代码生成的轻量化实现;前端代码渐进式融合模块用于利用分治思想,建立像素图坐标、布局结构、代码文档对象模型三者关系,通过组件坐标,和布局代码索引,实现最终代码的融合。本发明提升了前端低代码生成效率和质量。
本发明授权基于扩散模型和知识蒸馏的粗细粒度渐进前端代码生成系统及方法在权利要求书中公布了:1.一种基于扩散模型和知识蒸馏的粗细粒度渐进前端代码生成系统,其特征在于,所述系统包括界面骨架扩散生成模块、界面骨架代码蒸馏模块和前端代码渐进式融合模块; 所述界面骨架扩散生成模块用于生成面向UI骨架的有条件的离散扩散模型,理解输入的像素图中UI组件的布局,完成组件的布局关系的提取; 所述界面骨架代码蒸馏模块用于基于知识蒸馏技术,通过学习教师模型标注的布局结构和布局代码关系,完成布局代码生成的轻量化实现; 所述前端代码渐进式融合模块用于利用分治思想,建立像素图坐标、布局结构、代码文档对象模型三者关系,由模型建立完成细粒度局部图块的代码生成,通过组件坐标,和布局代码索引,实现最终代码的融合; 所述界面骨架扩散生成模块还用于: 添加一个界面转骨架适配器模块学习像素图和UI骨架之间的匹配关系;所述界面转骨架适配器模块由三个不同尺度的下采样模块组成,分别用于捕捉UI像素图中不同颗粒度的组件、布局细节,通过残差网络骨干提取出各个层的特征向量,投影并将各个层的特征信息通过交叉注意力的方式注入到预测噪音的扩散模型的UNet的对应层; 有条件生成训练过程:冻结无条件骨架生成的模型参数,只训练界面转骨架适配器部分,通过引导器协调无条件生成和有条件生成的占比关系; 有条件生成推理过程:初始化一个随机骨架噪音,通过预先训练的噪音预测器,结合UI像素图输入的特征信息,预测出每一步要移除的骨架噪音,并将该噪音移除,通过连续T个时间步的去噪,最后通过解码器,从噪音向量中解析出一个符合规则的与UI像素图存在对应关系的网页骨架; 所述界面骨架扩散生成模块还用于:生成面向UI骨架的无条件离散扩散模型; 所述界面骨架扩散生成模块还用于: 有条件生成训练数据设计:收集网页数据,将第i个网页进行处理,渲染并截图得到图si,通过人工标注的方式获取外层组件的位置和大小,每个网页中包含不定数量的外层组件,对于第i个网页中第j个组件的坐标,记为Bi,j=li,j,ti,j,ri,j,bi,j,由网页截图和该网页的外层组件的位置集合组成一个数据对di=si,Bi,所有数据对组成的一个训练数据集合,记为数据DUI,Skeleton; 无条件生成训练数据设计:将训练数据集合DUI,Skeleton每个数据对的Bi单独组成一个无条件骨架生成数据集,记为DSkeleton; 扩散过程:对无条件骨架生成数据集DSkeleton中每个网页的骨架的每个组件的坐标Bi,j嵌入后随机加噪,z0代表初始的网页骨架的隐向量,通过T个时间步的加噪,最终得到一个完全随机的离散噪音向量zT;相对应的,一张规则的网页骨架在多个时间步后,会被逐步破坏,变成一个无规则随机的骨架图Ni,T,每个网页骨架产生一个包含多个时间步的噪音骨架的数据样本Ni,样本的全体记为数据集DSkeleton; 训练过程:将扩散过程中产生的数据用于训练离散骨架噪音预测器的模型参数,离散噪音预测器的输入是时间步t和第t个时间步的噪音骨架Ni,t,输出标签是Ni,t‑1,最终得到一个可以规则生成网页骨架的离散骨架噪音预测器;其中,整个训练过程随机选择一个时间步t,通过离散扩散模型学习不同时间步的噪音骨架之间的变化关系,来学习如何从随机噪音产生一个符合规则的UI网页骨架; 推理过程:初始化一个随机骨架噪音,通过所述噪音预测器,预测出每一步要移除的骨架噪音,并将该噪音移除,通过连续T个时间步的去噪,最后通过解码器,从噪音向量中解析出一个符合规则的骨架; 所述界面骨架代码蒸馏模块还用于: 模型初始化:选择小参数规模的开源视觉语言模型作为学生模型,选择闭源、高质量的商业模型作为教师模型; 多模态蒸馏指令设计:所述蒸馏指令包括图像理解指令和代码生成指令,所述图像理解指令要求教师模型用文本描述输入UI图像骨架图的布局结构;所述代码生成指令要求教师模型根据输入UI图像的骨架图生成还原UI布局的HTML代码; 伪标签自动化标注:采用所述图像理解指令和代码生成指令、骨架图,在教师模型,生成骨架图对应的布局文本描述和布局代码,作为训练伪标签; 无效样本过滤:设计针对UI场景的自动化评估框架,对代码运行正确性、图像‑代码匹配、样本多样性进行评估,并移除不符合条件的样本数据; 蒸馏数据指令微调:通过指令微调的方式指导学生模型学习教师模型图像到骨架代码的能力; 所述前端代码渐进式融合模块还用于: 区域关联索引:根据骨架图中区域位置和骨架代码中的区域占位空间的关联关系,索引出原始UI图像中的区域像素片段,递归式切分出每个区域的像素图块片段; 细粒度代码生成:通过细粒度区域代码生成指令,由Claude或GPT系列模型,将区域像素图块片段转化为区域代码片段; 粗细粒度渐进代码融合:利用文档对象模型的元素节点之间的解耦合特性,根据区域关联索引,将细粒度的区域代码片段直接挂载到粗粒度的骨架代码的区域容器节点上,通过自顶向下的递归式文档对象模型树检查,确保节点挂载正确、不遗漏、不多余、不错挂,最终,完成粗粒度到细粒度的代码融合生成。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院),其通讯地址为:518000 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励