买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京化工大学申请的专利一种面向助盲场景的多特征快速推理的图像描述方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117237798B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310819161.2，技术领域涉及：G06V20/10；该发明授权一种面向助盲场景的多特征快速推理的图像描述方法是由曹政才;石胤斌;夏霁;孙伊扬;牟洪民;马哲设计研发完成，并于2023-07-05向国家知识产权局提交的专利申请。

本一种面向助盲场景的多特征快速推理的图像描述方法在说明书摘要公布了：一种面向助盲场景的多特征快速推理的图像描述方法涉及图像描述技术领域。本发明包括以下步骤：首先使用深度卷积层提取场景图像的网格特征并计算每个网格间的几何关系。其次，用Transformer编码展平后的场景图像得到浅层补丁特征。再次，构建自适应共享Transformer块融合网格特征和浅层补丁特征并自适应计算每个特征的贡献度。最后，联合最终视觉表示和任务自适应向量进行解码，生成图像的自然语言描述。本发明解决助盲场景中现有图像描述方法缺乏细节表述、推理速度慢的问题，该方法在提高模型性能的同时，轻量化模型并提高推理速度，利于模型在助盲场景下的部署和应用。

本发明授权一种面向助盲场景的多特征快速推理的图像描述方法在权利要求书中公布了：1.一种面向助盲场景的多特征快速推理的图像描述方法，通过图像描述网络模型，生成对应的文本描述；图像描述网络模型的训练过程，其特征在于，包括以下步骤： 步骤1：使用深度卷积网络ResNeXt152提取图像网格特征并计算网格的几何特征；对网格特征和几何特征进行求和并将其从二维展平到一维得到具有相对位置信息的网格特征XG； 步骤2：图像的浅层补丁特征提取：用固定大小的窗口对原始输入图像进行划分，每个窗口展平为一维向量，所有向量构成图片的补丁特征Xp，使用一个线性层和一个Transformer块对其编码得到浅层补丁特征XS； 步骤3：特征融合并编码得到最后视觉表示Z：使用自适应共享Transformer块融合具有相对位置信息的网格特征和浅层补丁特征，使用多个常规Transformer对融合特征进行编码得到最终视觉特征Z； 步骤4：预测输出：为视觉特征Z拼接一个任务自适应向量S得到初始化语义向量T，联合视觉特征输入到的解码器中，通过自注意力机制学习视觉信息和语义信息之间的浅在关系，并和语义向量T相加作为高级语义特征将视觉特征和高级语义特征作为Transformer解码块的输入，逐步生成文本描述L＝[l1,l2,…,ln]，其中li是句子中的第i个单词，n表示句子的长度； 步骤5：损失函数计算：定义图像描述损失函数为 其中CE表示交叉熵损失，li是句子中的第i个单词，n表示句子的长度，pli|l1:i-1代表生成第i个单词的概率； 步骤3包括： 具有相对位置信息的网格特征XG和浅层补丁特征XS经过同一个共享的多头注意力机制和曾归一化，得到两个相同分布的特征再分别经过一个独立的层归一化后得到具有独立特性的两个特征XG′，XS′；之后同时输入到一个共享的前馈层并分别经过独立层归一化得到过滤后的特征具有相对位置信息的网格特征XG和浅层补丁特征XS相加后经过一个由线性层和Sigmoid函数构成的门控机制计算两个特征的贡献度g；过滤后的特征和贡献度分别作哈达玛积后求和得到融合后的特征Z；整个过程计算如下： g＝SigmoidLXG+XS，其中CLN表示共享的曾归一化操作，CMHA表示共享的多头注意力机制操作，CFF代表共享前馈层运算过程，LN为层归一化操作，MHA为多头注意力机制操作，L表示线性层运算过程，⊙表示矩阵的点乘。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京化工大学，其通讯地址为：100029 北京市朝阳区北三环东路15号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。