买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于图像、RFID及语音多元数据融合的药品高可靠识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115081567B 。

龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210675263.7，技术领域涉及：G06K17/00；该发明授权一种基于图像、RFID及语音多元数据融合的药品高可靠识别方法是由刁星耀;林凭;黄永明设计研发完成，并于2022-06-15向国家知识产权局提交的专利申请。

本一种基于图像、RFID及语音多元数据融合的药品高可靠识别方法在说明书摘要公布了：本发明公开了一种基于图像、RFID及语音多元数据融合的药品高可靠识别方法，该方法主要内容是：首先用户向机器人提供语音指令，机器人通过语音识别获取药品名称信息，进入图像识别环节；在图像识别环节当中对机器人前方画面进行图像增强以及RGB提取后获取对应药品的位置信息，而后将位置信息发送给机器人并进入RFID识别环节；在RFID识别环节当中机器人根据目标药品位置信息抓取药品后将药品放置到RFID识别上进行识别，确保准确后进入递药环节；在递药环节当中，机器人将药品递给用户的同时使用语音合成的方式告知用户药品名称、用法用量以及性状作为第三重保障。通过本发明可以实现对药品的高可靠自动识别，从而帮助行动不便的老人以及残疾人按时服药。

本发明授权一种基于图像、RFID及语音多元数据融合的药品高可靠识别方法在权利要求书中公布了：1.一种基于图像、RFID及语音多元数据融合的药品高可靠识别方法，其特征在于，所述方法包括以下步骤： 步骤1：语音识别获取药品名称，若语音识别失败则语音播报请求用户重新发出指令； 步骤2：通过图像识别获取目标药品的位置信息，若识别失败则进入备选步骤1； 步骤3：将药品放置到RFID识别区进行识别，若无识别结果则进入备选步骤2，若识别失败则进入备选步骤1； 步骤4：机器人将药品送到用户身边； 步骤5：机器人语音播报药品相关信息，请求用户判断识别是否成功并提供语音指令，若用户判断识别失败则机器人将药品放回原处并返回步骤2，反之整个取药过程结束，机器人进入待命状态； 备选步骤1：主动式光源开启，通过特征标签使用视觉获取所有药品位置，机器人根据药品位置逐个抓取药瓶直至RFID识别结果匹配，关闭主动式光源，进入步骤4，若无结果匹配认定当前环境内无目标药品，进行语音播报后进入待命状态； 备选步骤2：语音播报未能获取RFID信息，请用户详细辨认，进入步骤4； 其中，所述步骤2中，位置估算的方法为： 由识别得到的目标药品在去畸变后的图像当中的的质心以及像素数量信息根据下式确认目标药品相比机器人的方向信息以及距离信息： sinθaim＝KθColaim-Col0 式中θaim为目标药品相比机器人正前方方向的水平角度信息，d为目标药品与机器人之间的直线距离信息，Colaim为检测到的目标药品质心在图像当中所处列数，Col0为摄像机中心像素点列数，numpix为药品所占像素点数目，Kθ以及Kd分别为对应角度信息以及距离信息的参数转化常量，它们的具体数值由摄像头以及目标药品的实际尺寸决定； 根据距离以及方向信息由下式确认目标药品相比机器人的位置信息： Posx＝dsinθaim Posy＝dcosθaim 式中Posx与Posy为药品位置相对机器人位置的水平坐标值，而竖直坐标值Posz则可以直接由机器人与药品相对高度信息获取； 所述步骤3中，机器人对药品进行RFID识别的方法为： 首先机器人由目标药品坐标解算各个关节的目标角度，将药品抓取后放置到RFID识别区域，选用的机器人结构上满足Pieper准则，使用下式进行解析法逆运动学求解获得各个关节的目标角度： θ1＝θaim Transx＝l2+l3sinθ2+l4sinθ2+θ3+l5sinθtool Transy＝l1+l3cosθ2+l4cosθ2+θ3+l5cosθtool θ4＝θtool-θ2-θ3 式中θ1、θ2、θ3、θ4为目标角度值，θtool为我们要求的末端工具坐标系相比世界坐标系Z轴方向的夹角，l1、l2、l3、l4、l5为机器人杆件的长度，Transx与Transy分别为药品相比机器人的水平直线距离以及竖直直线距离，使用下式求得： Transy＝Posz 在药品位于RFID识别区时使用独立RFID识别器与机器人进行TTL串口通信获取药品相关信息，包括名字法用量以及性状，机器人对比由CPU接收到的目标药品信息以及由RFID识别到的目标药品信息确认当前抓取药品是否与目标药品一致，将识别结果发送给CPU进行下一步处理； 备选步骤1中，通过图像识别特征标签获取药品位置的方法为： 使用了一种全息反光的材料作为药品的特征标签，机器人主动打光的条件下特征标签在摄像机视角下的RGB值会远大于其它物体，以此为阈值进行二值化分割可以保证机器人能够迅速准确地找到目标药品； 在识别任务中首先开启摄像机位置处的主动式光源进行打光，视觉部分根据特征标签RGB值下限进行图像二值化处理后使用DBSACN方法去除噪声点并区分不同的像素点集群，每一个集群对应一个药瓶，而后根据不同药瓶的画面信息使用下式进行位置估算： 式中Position_medicinex为估算得到的药品位置相对机器人坐标系X轴坐标，Position_mediciney为估算得到的药品位置相对机器人坐标系Y轴坐标，Kdistance为距离估算参数，该参数由相机以及全息特征标签的尺寸参数决定，numpix_medicine为被估算集群当中像素点的个数，Krot为角度估算参数，该参数由相机决定，Colmedicine为被估算集群的质心位置列坐标值，Colmiddle为整个画面中心列的坐标值； 在完成药品位置估算后将估算得到的位置以队列的方式逐个发送给机器人进行抓取与RFID识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。