浙江工业大学姚信威获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江工业大学申请的专利一种文本生成图像方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114022582B 。
龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111109265.1,技术领域涉及:G06T11/00;该发明授权一种文本生成图像方法是由姚信威;张馨戈;王佐响;杨啸天;齐楚锋;邢伟伟设计研发完成,并于2021-09-22向国家知识产权局提交的专利申请。
本一种文本生成图像方法在说明书摘要公布了:本发明涉及一种文本生成图像方法,基于Transformer模块和AttnGAN网络,将文本经过文本编码器编码后得到句子特征和单词特征,句子特征通过条件增强模块得到特征向量,将其与随机噪声向量融合输入到Transformer模块学习,输出改进特征向量并输入到生成器中生成粗略64*64像素的初始图像,将初始合成图像和改进特征向量输入到判别器进行判别,并根据损失函数训练生成器;依次将上一步的改进特征向量与单词特征一起输入到神经网络进行上采样得到融合向量,再将其输入到生成器得到128*128像素的图像、256*256像素的图像。本发明生成的图像较于之前传统AttnGAN方法生成的图像细节轮廓更清晰。
本发明授权一种文本生成图像方法在权利要求书中公布了:1.一种文本生成图像方法,其特征在于:所述方法包括以下步骤: 步骤1:获取文本及对应的图像构成的数据集,进行预处理; 步骤2:构建基于AttnGAN的文本生成图像网络模型,所述网络模型包括预训练网络和多阶段生成网络,所述预训练网络引入Transformer模块; 步骤3:提取图像对应的文本描述的文本特征,文本特征包括单词特征和句子特征,对句子特征进行条件增强后与随机噪声合并、输入到Transformer模块,学习得到空间与位置信息,包括以下步骤: 步骤3.1:以句子特征通过条件增强模块得到特征向量ẽ, , 其中,为文本的句子特征,为文本的句子特征向量的均值向量,为文本的句子特征向量的协方差矩阵,为单位高斯分布N0,1的分布采样; 步骤3.2:将得到的特征向量ẽ与随机噪声向量合并,得到,将作为Transformer模块的输入;; 步骤3.3:在Transformer模块中,将转换在注意力空间中,得到三个表示向量:,,,计算权重信息 , 其中,,表示合成图像第j个区域时的第i个位置的权重信息;最后得到带注意力机制的图像特征矩阵, ; 步骤3.4:整合特征矩阵,得到Transformer输出特征向量,; 步骤4:将步骤3学习到的特征信息输入到第一生成器,输出64*64低分辨率初始生成图像,将低分辨率初始生成图像和句子特征输入初始判别器进行判别; 步骤5:将步骤4生成的低分辨率初始生成图像进行下采样得到特征,单词特征输入到一个全局注意力模块得到新的单词特征,将两个特征一起输入到卷积神经网络学习,得到融合特征,再将融合特征输入到第二生成器,输出128*128图像,将128*128图像和句子特征输入二级判别器进行判别; 步骤6:将步骤5生成的128*128图像进行下采样得到特征,单词特征输入到一个全局注意力模块得到新的单词特征,将两个特征一起输入到卷积神经网络学习,得到新的融合特征,将新的融合特征输入第三生成器,输出256*256图像,将256*256图像和句子特征输入三级判别器判别; 步骤7:将步骤6生成的图像作为最终生成图像,输出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。