Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 华东师范大学张敏获国家专利权

华东师范大学张敏获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉华东师范大学申请的专利一种视觉与语言融合的多模态大模型系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119227744B

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411736605.7,技术领域涉及:G06N3/0455;该发明授权一种视觉与语言融合的多模态大模型系统是由张敏;宋幸锴;江波;周爱民设计研发完成,并于2024-11-29向国家知识产权局提交的专利申请。

一种视觉与语言融合的多模态大模型系统在说明书摘要公布了:本发明公开了一种视觉与语言融合的多模态大模型系统,包括:融合了DINOv2和SigLIP的视觉编码器,用来收集低层次的空间属性以及语义属性;多层感知机投影器,用来将视觉特征映射到语言嵌入空间以及基于状态空间模型的Mamba骨干模型网络。相较于依靠Transformer网络作为基础模型的多模态大语言模型,本发明的大模型系统在推理速度,准确率等指标均有提升。

本发明授权一种视觉与语言融合的多模态大模型系统在权利要求书中公布了:1.一种视觉与语言融合的多模态大模型系统,其特征在于,该系统包括: 1编码器模块,包括视觉编码器与文本编码器,所述视觉编码器包括视觉编码器DINOv2和视觉编码器SigLIP,其中,DINOv2捕捉图像中低层次的空间信息,SigLIp捕捉图像中的语义信息;首先,图像块化:将所有图像缩放裁剪成统一的格式,对于给定的一张图像xv∈RC×H×W,其中C为图像的通道数,H和W分别表示图像的高度和宽度,R代表张量空间;将图像分割为大小相同的Nv=H+WP2个小块Patch,其中P是每个小块patch的边长;视觉编码器DINOv2及视觉编码器SigLIP都将图像块化后的图像作为输入序列,并提取两个视觉编码器输出的通道级联作为紧凑的视觉其中DDINOv2和DSigLIP分别表示两个视觉编码器的输出的特征维度;Rv表示为: 其中与分别表示DINOv2和SigLIP对输入图像的特征提取操作,将两个视觉编码器的输出拼接起来,构成Nv×DDINOv2+DSigLIP维度的输出;所述文本编码器选用GPT-NeoXTokenizer,将文本转化为文本token; 2投影器模块,采用多层感知机MLP将视觉编码器模块输出的视觉tokenRv降维为下一个模块输入的维度的视觉tokenHq,公式为Hq=φRv,φ表示为多层感知机; 3Mamba主干模型,选用在SlimPa-jama数据集上进行预训练的2.8B参数的版本或者在RefinedWeb数据集上进行预训练的7B版本的Mamba主干模型,然后将投影器模块输出的结果与文本编码器输出的结果拼接起来记为H,分为两部分:文本token的表示Hv,视觉token的表示Hq,通过自回归方式将输入token序列转化成输出的目标tokens序列 其中L是输出序列的长度,yi表示输出序列中第i个元素,公式为: 其中Hv为文本token表示,Hq为视觉token表示。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。