买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种同时分割和检测抓取位姿的多模态特征融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116385546B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310579747.6，技术领域涉及：G06T7/73；该发明授权一种同时分割和检测抓取位姿的多模态特征融合方法是由张云洲;刘晓正;曹赫;单德兴;赵家奇设计研发完成，并于2023-05-23向国家知识产权局提交的专利申请。

本一种同时分割和检测抓取位姿的多模态特征融合方法在说明书摘要公布了：本发明提供一种同时分割和检测抓取位姿的多模态特征融合方法，涉及机器人抓取位姿检测技术领域。本发明设计了一种点云图像协同指导的融合模块，模块不仅能够融合点云和图像特征，还能突出其中关键的特征对并抑制非感兴趣区域的特征。算法的预测过程从对融合特征进行前景点分割开始，然后设计一种同时考虑语义信息、距离信息、抓取置信度的种子点采样算法，生成质量更高的种子点。然后根据选定的种子点进行抓取位姿预测。本发明能够充分利用点云和图像信息，通过多模态特征来促进分割和抓取检测的性能，以服务于服务机器人、工业机器人等应用场景。

本发明授权一种同时分割和检测抓取位姿的多模态特征融合方法在权利要求书中公布了：1.一种同时分割和检测抓取位姿的多模态特征融合方法，其特征在于，包括以下步骤： 步骤1：使用双流骨干网络分别提取点云和图像特征； 步骤2：设计协同指导的点云-图像特征融合模块，进行点云-图像特征融合； 所述点云-图像特征融合模块的输入是点云特征Fpoint和图像特征Fimage，它们的大小分别是N×512和N×128，经过点云-图像特征融合模块后输出的融合特征大小Ffusion为N×512； 所述协同指导的点云-图像特征融合模块的具体设计步骤如下： 步骤S1：设计两个并行的全连接层FullyConnectedlayer，即FC，分别用于压缩点云和图像特征的通道数； 步骤S2：进行特征图拼接操作，将压缩通道数的点云和图像特征进行拼接； 步骤S3：拼接操作后，使用一个全连接层再次将拼接的特征进行融合，形成了协同指导的基础； 步骤S4：由一个最大池化层maxpoolinglayer和sigmoid激活函数对融合特征进行归一化，得到表示点云、图像特征对重要性的注意力分数AttentionScores； 步骤S5：得到注意分数AttentionScores后，使用注意力分数对原始的特征，即双流骨干网络输出的特征Fpoint和Fimage进行相乘加权操作，抑制非感兴趣区域特征并突出重要特征； 步骤S6：对加权后的特征对重新拼接，然后由一个新的全连接层进行再次融合，得到最终的融合特征Ffusion； 所述点云-图像特征融合具体公式为： 其中AttenS为AttentionScores缩写，是表示每个特征对重要性的注意力分数，Ffusion表示最终融合的特征，σ表示Sigmoid激活函数，Max表示最大池化操作，MLP表示全连接层，表示神经网络中的特征拼接操作，表示乘法操作； 步骤3：设计种子点采样算法，生成种子点； 所述步骤3具体包括以下步骤： 步骤3.1：执行前景-背景分割；将融合特征FfusionN×512作为输入，MLP输出分类分数N×2，2代表该点属于前景和背景的概率，前景概率大于背景概率，则认为是该点是前景点，属于前景区域，使用FocalLoss作为任务的损失函数； 步骤3.2：设计一种同时考虑距离、语义和重要性的采样算法，即种子点采样算法，获取种子点； 步骤3.2.1：使用最远点采样算法FPS对前景区域的点进行降采样；假设分割得到K个前景点，算法使用最远点采样从K个前景点中生成λn个候选点； 步骤3.2.2：使用步骤2中的点云-图像特征融合模块的注意力分数AttenS对候选点进行排序；上一步中获得了λn个候选点，然后根据注意力分数AttenS对λn个候选点排序； 步骤3.2.3：选择候选点中注意力得分最高的前n个点作为种子点； 步骤4：基于步骤3生成的种子点进行6自由度抓取位姿预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。