买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119274192B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411292090.6，技术领域涉及：G06V30/19；该发明授权一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质是由车万翔;徐啸;牛天昊;朱庆福;覃立波设计研发完成，并于2024-09-14向国家知识产权局提交的专利申请。

本一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质在说明书摘要公布了：本发明属于多模态大模型领域，尤其涉及一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质。本发明目的是解决现有多模态大模型存在对图像内容理解能力差的问题。提出了种面向多模态大模型的多粒度数据集构建方法，包括：收集数据集；对数据集中的所有图像进行处理，得到预处理后的图像；预处理后的细粒度对象注释；数据集中所有图像的粗粒度字幕注释；细粒度对象类别标签描述；最终构建多模态大模型的多粒度数据集。多模态大模型的多粒度数据集解决了现有的多模态大模型训练集只使用粗粒度注释，忽视了细粒度注释，从而导致了模型对概念理解的不够深入，限制了模型的多模态任务性能差的问题。

本发明授权一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质在权利要求书中公布了：1.一种面向多模态大模型的多粒度数据集构建方法，其特征在于，包括以下步骤： 步骤一、收集数据集； 所述数据集中包括图像，图像的粗粒度字幕注释以及图像的细粒度对象注释， 所述图像的细粒度对象注释包括细粒度对象边界框坐标和细粒度对象类别标签； 步骤二、对步骤一数据集中的所有图像进行预处理，得到预处理后的图像； 对步骤一数据集中的细粒度对象注释进行预处理得到预处理后的细粒度对象注释； 具体过程为： 步骤二一：对步骤一数据集中的图像进行预处理，得到预处理后的图像， 步骤二二：根据步骤一数据集中的细粒度对象注释，得到预处理后的细粒度对象注释； 其中，对步骤一数据集中的其中一个细粒度对象注释，得到一个预处理后的细粒度对象注释的具体过程为： 步骤二二一：根据据步骤一数据集中的细粒度对象注释中的边界框坐标，得到步骤一数据集中的原图中原始对象区域R， 以原始对象区域R的中心作为方形区域S的中心，在步骤一数据集中的原图中裁剪一个包含原始对象区域R的方形区域S； 步骤二二二：将原始对象区域R的细粒度对象类别标签与方形区域S包含的其他细粒度对象类别标签进行整合，得到整合后的注释，将整合后的注释更新为方形区域S的细粒度对象类别标签； 步骤二二三：通过视觉编码器将方形区域S转化为方形区域S的图像表示，再通过视觉分词器将方形区域S的图像表示转化为方形区域S的视觉令牌， 通过文本分词器将方形区域S的细粒度对象类别标签和位置描述转化为方形区域S的文本令牌； 步骤二二四：将方形区域S的视觉令牌和文本令牌组成预处理后的方形区域S的细粒度对象注释； 步骤三、对于步骤一数据集中的没有粗粒度字幕注释的图像生成粗粒度字幕注释；将生成的粗粒度字幕注释和数据集中的粗粒度字幕注释相加，得到数据集中所有图像的粗粒度字幕注释； 步骤四、对步骤一数据集中的细粒度对象类别标签生成细粒度对象类别标签描述； 步骤五、根据步骤二得到的预处理后的图像、预处理后的细粒度对象注释、步骤三得到的所有图像的粗粒度图像字幕注释和步骤四得到的细粒度对象类别标签描述，构建多模态大模型的多粒度数据集。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。