买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南通大学申请的专利一种基于语音交互与视觉透视的网约车乘客位置快速定位方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119399845B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411368765.0，技术领域涉及：G06V40/70；该发明授权一种基于语音交互与视觉透视的网约车乘客位置快速定位方法是由王晗;张恩源;岳雯芮;王森涛;叶烜彤;王光成设计研发完成，并于2024-09-29向国家知识产权局提交的专利申请。

本一种基于语音交互与视觉透视的网约车乘客位置快速定位方法在说明书摘要公布了：本发明提供一种基于语音交互与视觉透视的网约车乘客位置快速定位方法，涉及智能交通技术领域，其包含以下步骤：在汽车上布施传感器、摄像头、金属反光幕布及投影仪；采集司机的语音信息，设计智能化语音唤醒模型；构建场景化语音识别模型；使用“声音‑图像”的多级跨模态检测模型面向全景图像检测行人目标，获取行人目标的外观与姿态特征检测信息；设计“静态特征”匹配方法与“动态特征”识别模型，实现乘客特征信息匹配；基于匹配结果，确定乘客的位置信息；通过全景图像中的位置估计，获取以车辆为参考原点的乘客方向；根据方向估计结果，控制车内投影仪，将该乘客信息投影在车内相应方向的幕布上，并同时利用语音信息给予提示。

本发明授权一种基于语音交互与视觉透视的网约车乘客位置快速定位方法在权利要求书中公布了：1.一种基于语音交互与视觉透视的网约车乘客位置快速定位方法，其特征在于：包含以下步骤： S1：在网约车上布施传感器、摄像头、金属反光幕布及投影仪，其中，所述摄像头设置有5个，五个摄像头分别位于汽车右前车门，右后车门，前方车顶，后方车顶和车尾处；所述金属反光幕布位于前车门、后车门和后排靠背位置，所述投影仪设置在所述反光幕布对应的斜上方； S2：利用车载麦克风持续后台采集司机的语音信息，使用Transformer作为语音唤醒词检测模型并通过语音特征提取，设计智能化语音唤醒模型，实现语音交互的“一词唤醒”功能； S3：构建场景化语音识别模型，通过识别司机的语音信息，自动识别乘客的外观和动作特征，并保存上述特征的文本信息；S4：利用摄像头获取车外全景图像，使用“声音-图像”的多级跨模态检测模型，面向全景图像检测行人目标，获取行人目标的外观与姿态特征检测信息；所述“声音-图像”的多级跨模态检测模型包含如下步骤： 首先，对于S3中语音识别的文本，先经过n-gram算法得到名词短语，再使用基于CLIP预训练的Transformer文本编码器TextEncoder，提取文本嵌入其中T是给定文本，C是名词数量，D是嵌入维度； 接着，通过车上不同位置处的多个摄像头，同时获取多个实时视频流并把视频流经过YOLOv8nBackbone得到多尺度的图像特征 然后，将上述步骤得到的W和Xl通过重参数化的视觉-语言路径聚合网络进行特征融合，其中融合过程主要包括从文本到图像的基于文本引导的跨区块偏置层，从图像到文本的图像池化注意力机制； 最后，将融合后的目标编码通过TextContrastiveHead输出，采用具有两个3×3卷积的解耦头，用于回归边界框和对象嵌入并通过引入文本对比中心，来获取对象-文本相似度，从而输出相似度最大的并输出坐标；其中目标编码e和文本编码w使用L2-Norm表示； 其中L2-Norm表示L2归一化，Wj∈W是第j个文本嵌入,α为缩放因子，β为偏移因子； S5：设计乘客多属性“静态特征”匹配方法与基于骨骼特征的乘客“动态特征”识别模型，通过文本特征匹配，实现S3中基于语音识别的乘客特征信息与S4中基于视觉检测的乘客特征信息之间的匹配；所述多属性静态特征包括视觉识别的静态特征及语音识别的外观特征； S6：基于S5的匹配结果，确定乘客的位置信息；通过全景图像中的位置估计，获取以车辆为参考原点的乘客方向； S7：根据S6的方向估计结果，控制车内投影仪，将该乘客信息投影在车内相应方向的幕布上，并同时利用语音信息给予提示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南通大学，其通讯地址为：226000 江苏省南通市崇川区永福路79号1幢南通大学技术转移研究院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。