浙江大学王曰海获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉浙江大学申请的专利一种基于多模态知识增强的生成式对话方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116450787B 。
龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310303970.8，技术领域涉及：G06F16/532；该发明授权一种基于多模态知识增强的生成式对话方法和系统是由王曰海;徐洁雯;杨建义设计研发完成，并于2023-03-27向国家知识产权局提交的专利申请。
本一种基于多模态知识增强的生成式对话方法和系统在说明书摘要公布了：本发明公开了一种基于多模态知识增强的生成式对话方法，本发明基于视觉语义特征利用注意力机制对全局文本特征进行了增强，基于全局文本特征利用注意力机制对视觉语义特征进行增强，将增强的结果进行融合得到了将图像和文本初步融合的多模态上下文特征，再基于知识特征向量对多模态上下文特征进行注意力权重分配得到了融合有外部知识的增强多模态上下文特征，利用本发明提供的方法将外部知识、对应的语义特征和文本特征进行了融合从而得到了较为合理的对话回复。本发明还提供了一种基于多模态知识增强的生成式对话系统。
本发明授权一种基于多模态知识增强的生成式对话方法和系统在权利要求书中公布了：1.一种基于多模态知识增强的生成式对话方法，其特征在于，包括： 获得多模态上下文，所述多模态上下文包括文本上下文和图像上下文，获得与文本上下文相匹配的知识序列，分别对知识序列、文本上下文进行向量表示得到知识特征向量和文本特征向量，同时对图像上下文本进行特征提取得到视觉语义特征；将知识特征向量和文本特征向量进行融合后通过文本编码器得到全局文本特征； 利用全局文本特征对视觉语义特征进行注意力加权得到增强视觉语义特征，利用视觉语义特征对全局文本特征进行注意力加权得到增强全局文本特征，将增强视觉语义特征和增强全局文本特征进行拼接，将拼接结果通过全连接得到多模态上下文特征，利用知识特征向量对多模态上下文特征进行注意力加权得到增强多模态上下文特征； 采用BART编码器对增强多模态上下文特征进行编码得到高阶特征，采用BART解码器以自回归方式解码高阶特征得到隐状态向量，将隐状态向量的维度转换为BART预训练语言模型的词表维度，将转换维度的隐状态向量归一化后映射到概率空间得到词表中单词的预测概率，基于单词的预测概率生成对话。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号