浙江大学赵洲获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种三重不对称及原理生成的知识视觉问答方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116881422B 。
龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310909586.2,技术领域涉及:G06F16/3329;该发明授权一种三重不对称及原理生成的知识视觉问答方法和系统是由赵洲;黄思泳设计研发完成,并于2023-07-24向国家知识产权局提交的专利申请。
本一种三重不对称及原理生成的知识视觉问答方法和系统在说明书摘要公布了:本发明公开了一种三重不对称及原理生成的知识视觉问答方法和系统,属于知识视觉问答领域。获取图片、图片对应的问题及其选项,将问题和每一个选项作为一个文本对,记录答案背后的理由;利用预训练模型提取图片嵌入特征向量和文本对的第一文本嵌入特征向量;利用轻量级文本编码器获取文本对的第二文本嵌入特征向量;结合文本相对图片的损失函数项、图片相对文本的损失函数项、文本相对文本的损失函数项、原理生成的交叉熵损失函数项,训练轻量级文本编码器和解码器,利用训练后的轻量级文本编码器和预训练模型完成知识视觉问答任务。本发明通过联合使用三重不对称特征对齐机制和理由生成机制,实现准确高效的知识视觉问答。
本发明授权一种三重不对称及原理生成的知识视觉问答方法和系统在权利要求书中公布了:1.一种三重不对称及原理生成的知识视觉问答方法,其特征在于,包括: 获取图片、图片对应的问题及其选项,将问题和每一个选项作为一个文本对,记录答案背后的理由; 利用预训练模型提取图片嵌入特征向量和文本对的第一文本嵌入特征向量;利用轻量级文本编码器获取文本对的第二文本嵌入特征向量; 利用第二文本嵌入特征向量和图片嵌入特征向量的双射关系,获取文本相对图片的损失函数项;利用图片嵌入特征向量和第二文本嵌入特征向量的单射但非满射关系,获取图片相对文本的损失函数项,计算公式如下: ; 其中,表示图片相对文本的损失函数项,表示训练批次中图片的数量,表示每张图片的问题对应的选项数量;,表示第k张图片对应的答案下标,表示正确答案下标集合,表示第k个图片嵌入特征向量,表示第k个图片的正确选项对应的文本对的第二文本嵌入特征向量,表示训练批次中第i个文本对的第二文本嵌入特征向量,是一个对比学习的温度超参数,exp为指数运算符; 利用第二文本嵌入特征向量和第一文本嵌入特征向量的双射关系,获取文本相对文本的损失函数项,计算公式如下: ; 其中,表示文本相对文本的损失函数项,表示训练批次中第i、j个文本对的第一文本嵌入特征向量; 利用解码器自回归生成答案背后的理由文本,获取原理生成的交叉熵损失函数项; 结合损失函数项,训练轻量级文本编码器和解码器,利用训练后的轻量级文本编码器和预训练模型完成知识视觉问答任务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励