买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京化工大学申请的专利一种面向助盲领域的指示牌语义信息提取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116343185B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211549324.1，技术领域涉及：G06V20/62；该发明授权一种面向助盲领域的指示牌语义信息提取方法是由曹政才;石胤斌;孙伊扬;牟洪民;夏霁;马哲;张港设计研发完成，并于2022-12-05向国家知识产权局提交的专利申请。

本一种面向助盲领域的指示牌语义信息提取方法在说明书摘要公布了：一种面向助盲领域的指示牌语义信息提取方法，具体涉及到图像处理和深度学习技术领域。首先设计图像描述模型，其中使用视觉transformer作为编码器进行图像特征提取，多个tranformer结构组成解码器用于生成语义描述。其次，通过助盲设备采集各种室内场景包含指示牌的图像并制作数据集，用于对预训练好的图像描述模型进行微调和测试；再次，采用目标识别模块从通过助盲设备捕获的图像中提取指示牌图像并进行倾斜矫正；最后，将指示牌图像进行分块，线性投影为固定维度向量作为编码器的输入经过图像描述模型生成对指示牌的语义信息描述。本发明将助盲设备捕获到的指示牌图像转化为自然语言描述，为盲人在陌生环境自主行走提供支撑。

本发明授权一种面向助盲领域的指示牌语义信息提取方法在权利要求书中公布了：1.一种面向助盲领域的指示牌语义信息提取方法，其特征在于，包括以下步骤： 构建编码-解码结构的图像描述模型，由基于视觉Transformer的计算机视觉基础模型作为编码器用于图像特征提取，使用多个标准Transformer模块构成解码器用于生成图像的语义描述； 图像描述模型的预训练和微调；通过助盲设备采集超过5000张的室内场景各类指示牌图像并制作数据集用于模型的微调； 通过助盲设备获得室内场景图像，使用YOLOv5方法检测图像中是否存在指示牌，如果检测到指示牌且其在图像中占比超过给定阈值，则对图像中指示牌进行提取并矫正，最后通过图像描述模型生成对指示牌的语义信息描述； 所述微调的过程如下： 步骤1：数据集制作；通过助盲设备采集超过5000张的室内场景各类指示牌图像，利用YOLOv5模型进行识别并裁剪出指示牌用于避免输入过多非指示牌的特征；对分割出的指示牌进行边缘检测计算出指示牌顶角坐标，使用仿射变换方法进行矫正；最后对每一个指示牌标注1个符合语义信息的描述语句作为标签； 步骤2：对于一张输入的指示牌图像X∈RW×H×3，RW×H×3表示一个实数集合，其维度为W，H，3；W和H分别表示图像的宽和高，第三维度为通道数，首先需要将图像转换为符合模型输入的队列形式，经过图像分块模块图像转换为2维序列每一个图像分块的大小为P，P，取P＝4，N＝HWP2为图像分块的数量；特征提取经过四个阶段；阶段一，输入序列Xp经过线性嵌入层，转换为固定维数C，输出z0∈RN×C，再通过2个连续SwinTransformer块，维度不变，2个连续的SwinTransformer块计算如下： 其中，W_MSA为基于窗口的自注意力模块，与自注意力模块相比，基于窗口的自注意力模块将输入进行不重叠窗口划分，每个窗口包含M×M个分块，且每个窗口进行自注意力计算；SW_MSA为移动窗口自注意力模块，移动窗口注意力模块采用不同大小的窗口对输入进行划分；LN为层归一化操作；和zl分别是第l个SwinTransformer块中W_MSA和MLP的输出；阶段二，通过分块合并模块对相邻的2×2个分块进行合并，维度转变为再经过2个连续的SwinTransformer块；阶段三，通过分块合并模块对相邻的2×2个分块进行合并，维度转变为在经过6个连续的SwinTransformer块；阶段四，通过分块合并模块对相邻的2×2个分块进行合并，维度转变为再经过2个连续的SwinTransformer块，得到最终指示牌的图像特征； 步骤3：指示牌特征图经过标准Transformer进行解码；Transformer块包含两个多头自注意力块，第一个多头自注意力块进行了Mask操作，其输入是上一个Transformer块的输出，得到自注意力矩阵后和Mask矩阵相乘用于防止最后生成的第i个单词知道第i+1个单词之后的信息；第二个多头自注意力块的输入为指示牌特征图，其输出和Mask多头自注意力块的输出进行相加并且层归一化再经过一个前馈层获得Transformer块的输出，最后一个Transformer块的输出经过一个线性层然后进行Softmax得到最后预测输出以及语句每个位置每个词汇的概率； 步骤4：误差反向传播，更新模型参数；损失函数计算同预训练： 其中I表示输入图片，yi为当前时间步预测的单词，yjj＝0，...，i-1为已经生成的单词，pyi|I，{yj，j＝0，...，i-1}为在已经生成i-1个单词的条件下生成单词yi的概率，L为描述语句的长度；使用自适应矩阵估计作为优化算法，一阶矩估计的指数衰减率β1＝0.9，二阶矩估计的指数衰减率β2＝0.999；在整个训练过程中根据以下公式改变学习率lrate： 其中dmodel为Transformer各个子层的输出维度，step_num为训练步数，warmup_steps表示学习率在达到最大值前的一个“热身步数”，给定为3000-4000。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京化工大学，其通讯地址为：100029 北京市朝阳区北三环东路15号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。