买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种面向交通场景的可扩展多任务视觉感知方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115482518B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211177185.4，技术领域涉及：G06V20/58；该发明授权一种面向交通场景的可扩展多任务视觉感知方法是由李琳辉;方敏航;王政皓;赵剑;连静设计研发完成，并于2022-09-26向国家知识产权局提交的专利申请。

本一种面向交通场景的可扩展多任务视觉感知方法在说明书摘要公布了：本发明公开了一种面向交通场景的可扩展多任务视觉感知方法，包括以下步骤：设计多任务视觉感知模型整体架构；搭建主干特征提取网络搭建任务分支网络；训练网络；检测多任务网络。本发明将主干特征提取网络与分支网络分开训练并保存权重的方法，提高了整个模型在交通场景中多任务检测的实时性，同时兼顾了模型的可扩展性。本发明通过增加边路权重分支网络设计了卷积多通道注意力残差模块，既可以缓解尺度变化带来的问题，又使网络更加关注需要检测的物体，可以有效忽略背景的干扰。本发明不仅缓解了视觉多任务检测需要占用大量硬件资源的问题，提高了网络的实时性，又提高了网络的可扩性，使其可以适应新的任务需求。

本发明授权一种面向交通场景的可扩展多任务视觉感知方法在权利要求书中公布了：1.一种面向交通场景的可扩展多任务视觉感知方法，其特征在于：包括以下步骤： A、设计多任务视觉感知模型整体架构 多任务视觉感知模型整体架构由主干特征提取网络与任务分支网络组成；主干特征提取网络由一系列卷积层和多通道注意力残差模块堆叠而成，搭建完主干特征提取网络后，对主干特征提取网络进行训练，调整主干特征提取网络中的参数，并将调整完的参数保存下来，然后将主干特征提取网络最后三层的输出输入到候选框生成网络后，经候选框映射模块处理后分别同时输入到任务分支网络中，所述任务分支网络包括目标检测分支网络、人体关键点检测分支网络、可行驶区域分割分支网络和车道线检测分支网络，其中车道线检测分支网络与可行驶区域分支网络合并为一个任务分支网络且由可行驶区域分割分支网络同时实现可行驶区域分割分支网络和车道线检测分支网络的功能，目标检测分支网络由卷积层、池化层和批归一化层串联而成，人体关键点检测分支网络和可行驶区域分割分支以及车道线检测分支网络由一系列反卷积层串联而成，搭建完成任务分支网络后，对任务分支网络分别进行训练，将训练完得到的任务分支网络参数保存下来，最后通过加载主干特征提取网络的参数和任务分支网络的参数对车载摄像头获取的图像进行预测，具体步骤如下： A1、将车载摄像头获取的图像输入主干特征提取网络得到特征图； A2、将得到的特征图送入到候选框生成网络中，得到候选框后，通过候选框映射模块将候选框映射到下采样后的特征图中； A3、将候选框映射后的特征图并行送入到目标检测分支网络与人体关键点检测分支网络； A4、在进行人体关键点检测分支网络的检测时，将目标检测得到的目标框与人体关键点检测的候选区域进行耦合，使得有人体区域为人体关键点检测分支网络的感兴趣区域； A5、将主干特征提取网络得到的特征图经过候选框映射后进入可行驶区域分割分支网络与车道线检测分支网络对特征图进行上采样，得到可行使区域的分割与车道线检测的结果，并将最终的结果在最开始车载摄像头获取的图像上标出； B、搭建主干特征提取网络 主干特征提取网络借鉴纯卷积网络结构，设计卷积多通道注意力残差模块即Conv-MA-NextBlock，将卷积多通道注意力残差模块堆叠组成主干特征提取网络，具体步骤如下： B1、首先使用对车载摄像头获取的图像进行下采样得到特征图，下采样之后使用层归一化技术对下采样特征图进行归一化处理； B2、搭建卷积多通道注意力残差模块；卷积多通道注意力残差模块采用网络参数量；卷积多通道注意力残差模块分支网络表示为： Gx=SigmoidBNConvGEBNConvGEgx 式中，x表示输入的特征图； Gx表示经过通过注意力分支网络得到的通道权重； Sigmoid表示激活函数，其函数表达式为； BN表示批归一化层，将输入BN层的数据转化为均值为0，方差为1的分布； Conv表示卷积操作，卷积是指以一个指定大小的矩阵数据与输入的数据相乘； GE表示名为GELU激活函数，GELU激活函数的函数表达式为GELUx=x∙Φx，Φx表示高斯分布的积累概率分布，即在-,x]区间对高斯分布的定积分； gx表示全局池化； 最终将得到的通道权重Gx与原特征图相乘使主干特征提取网络更关注有目标的区域；卷积多通道注意力残差模块的公式表示为： Cx=GxdropoutLscaleConvGEConvBNdwConvx 式中，dropout表示随机关闭一些通道，使其失去作用； Lscale表是通道缩放，以一定的比例减小特征图的通道数量； dwConv表示深度可分离卷积，将输入的数据按维度进行卷积； B3、将搭建完的卷积多通道注意力残差模块以不同的维度按比例进行堆叠；其具体公式如下： output=aCbCcCdCx 式中，C表示卷积多通道注意力残差模块； a、b、c、d均为整数，表示不同的比例； Output表示输出； C、搭建任务分支网络 搭建目标检测分支网络、人体关键点检测分支网络以及可行驶区域分割分支网络分别实现对交通场景中行人和车辆的识别、人体关键点的检测、可行驶区域分割以及车道线检测的功能；具体步骤如下： C1、搭建目标检测分支网络 目标检测分支网络由两个全连接层组成，在全连接层之后分为类别预测和目标检测框回归；目标检测分支网络的损失函数为： 式中，表示第i个候选框预测为真实标签的概率； 表示候选框内的样本为正样本时为1，为负样本时为0； 表示预测第i个候选框的边界框回归参数； 表示第i个候选框对应的真实框参数； 表示一次训练输入的样本数量； 表示候选框位置的个数； 表示分类损失，采用如下式所示二值交叉熵损失： 表示回归损失，公式如下： 其中函数，公式如下： C2、搭建人体关键点检测分支网络 人体关键点检测分支网络先使用候选区映射模块进行映射，对映射得到的特征图通过多个卷积与激活函数激活提取其特征，最后将经过卷积与激活函数激活后的特征图进行转置卷积扩大特征图的高与宽，使特征图的高与宽与最开始车载摄像头获取的图像高宽相等，特征图的通道数目与关键点数目相同，每个通道预测一个关键点； C3、搭建可行驶区域分割分支网络和车道线检测分支网络 可行驶区域分割分支网络与车道线检测分支网络结构相同，将其合并在一个可行使区域分割分支网络中进行检测，该分支网络的搭建使用候选区映射模块进行映射，转换特征图大小并对其进行卷积，最后将卷积后的特征图进行转置卷积扩大特征图的高与宽，使特征图的高与宽与最开始车载摄像头获取的图像高宽相等，特征图通道数目与类别数相同，每个通道对应预测一个类别，其中一个通道作为车道线检测分支网络的输出用于车道线检测； D、训练网络 D1、训练主干特征提取网络 主干特征提取网络与目标检测分支网络联合训练，输入原始数据后初始化主干特征提取网络参数，将得到的特征图输入目标检测分支网络，与样本标签进行对比计算得到损失函数，使用梯度下降法更新参数降低损失，当损失函数的输出值与上一轮的输出值的差值小于时，不再进行训练，分别保存主干特征提取网络的权重与目标检测分支网络的权重； D2、训练任务分支网络 将原始数据输入加载好权重的主干特征提取网络，作为数据的预处理；初始化任务分支网络参数，将预处理得到的特征图输入任务分支网络中，与标签对比计算得到损失，通过梯度下降法更新参数，减小损失值，当损失函数的输出值与上一轮的输出值的差值小于时，不再进行训练，保存任务分支网络权重； E、检测多任务网络 E1、加载主干特征提取网络的权重，得到有具体参数的主干特征提取网络Conv-Next-Net； E2、加载目标检测分支网络的权重，得到有具体参数的目标检测分支网络Det； E3、加载人体关键点检测分支网络的权重，得到有具体参数的人体关键点检测分支网络K； E4、加载可行驶区域分割分支网络的权重，得到有具体参数的可行驶区域分割分支网络SR； E5、将需要检测的图像输入主干特征提取网络，得到主干提取特征如下： Conv-Next-Net[input] input表示输入的车载摄像头获取的图像； 表示获得的特征图； E6、将得到的特征图同时输入各任务分支网络得到如下输出： 表示最终的输出； 表示加载了权重的新任务分支网络； E7、将得到的输出对应的目标位置、可行驶区域分割区域以及人体关键点在最初得到的摄像头输入图像中标出，得到最终的检测图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市高新园区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。