安徽工业大学王培珍获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉安徽工业大学申请的专利一种基于双目视觉的茄子采摘机器人系统及其采摘方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118990494B 。
龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411270994.9,技术领域涉及:B25J9/16;该发明授权一种基于双目视觉的茄子采摘机器人系统及其采摘方法是由王培珍;张少康;顾云苏;张克;姚丹设计研发完成,并于2024-09-11向国家知识产权局提交的专利申请。
本一种基于双目视觉的茄子采摘机器人系统及其采摘方法在说明书摘要公布了:本发明公开了一种基于双目视觉的茄子采摘机器人系统及其采摘方法,属于茄子采摘技术领域,包括采摘机械臂单元、运动底盘单元、双目视觉单元和计算机主控单元;采摘机械臂单元包括机械臂、末端执行单元和采摘机械臂控制模块,末端执行单元包括剪切器和夹取器,用于成熟茄子的采摘,采摘机械臂控制模块用于接收计算机主控单元下发的3d坐标控制机械臂和末端执行单元中的剪切器和夹取器进行采摘作业。本发明可在本地通过采摘机器人携带的计算机主控单元设备上,利用茄子目标检测模型,可以准确识别茄子各部位位置及成熟信息,精确定位剪切点和夹取点位置,大大减小了采摘过程中的茄子破损率,提高了采摘效率。
本发明授权一种基于双目视觉的茄子采摘机器人系统及其采摘方法在权利要求书中公布了:1.一种基于双目视觉的茄子采摘机器人系统,其特征在于,包括:采摘机械臂单元、运动底盘单元、双目视觉单元和计算机主控单元; 采摘机械臂单元包括机械臂、末端执行单元和采摘机械臂控制模块,末端执行单元包括剪切器和夹取器,用于成熟茄子的采摘,采摘机械臂控制模块用于接收计算机主控单元下发的3d坐标控制机械臂和末端执行单元中的剪切器和夹取器进行采摘作业; 运动底盘单元包括运动底盘和运动控制模块,运动控制模块用于接收计算机主控单元下发的控制指令驱动运动底盘移动; 双目视觉单元包括双目相机和图像处理模块,双目相机用于采集周围环境的深度图像和RGB图像,图像处理模块用于获取深度图像各像素点的深度信息并对采集到的RGB图像进行预处理后发送至计算机主控单元; 计算机主控单元用于部署茄子目标检测模型,根据接收到的RGB图像经由茄子目标检测模型处理后识别出图像中成熟茄子的蒂和果实部分,利用区域生长算法分割出茄子蒂和果实区域,并确定剪切位置和夹取位置,再结合深度信息确定剪切位置和夹取位置的坐标和宽度数据,将数据发送至采摘机械臂单元; 利用所述的茄子采摘机器人系统对成熟茄子进行采摘,包括以下步骤: 步骤S1:运动底盘单元接收计算机主控单元下发的指令,移动到待采摘地点; 步骤S2:双目相机采集周围环境的深度图像和RGB图像,利用图像处理模块对RGB图像进行预处理,并获取深度图像各像素点的深度信息,将预处理后的RGB图像和获取的深度信息发送至计算机主控单元; 步骤S3:计算机主控单元将接收到预处理后的RGB图像传入预先部署好的茄子目标检测模型中,经过茄子目标检测模型处理后识别出RGB图像中成熟茄子的蒂和果实部分,利用区域生长算法分割出茄子蒂和果实区域,并确定剪切位置和夹取位置,再结合深度信息确定剪切位置和夹取位置的坐标和宽度数据,并将数据发送至采摘机械臂单元; 步骤S4:采摘机械臂单元根据计算机主控单元下发的坐标控制机械臂和末端执行单元摘取茄子; 步骤S5:采摘机械臂单元将采摘的果实放入运动底盘上预留的指定位置,并从计算机主控单元中接收下一个茄子坐标,接着重复步骤S4; 步骤S6:采摘完成后,运动底盘单元接收计算机主控单元下发的指令,移动到下一处待采摘地点; 在所述步骤S3中,计算机主控单元通过茄子目标检测模型识别成熟茄子的蒂和果实部分,利用区域生长算法分割出茄子蒂和果实区域,确定剪切位置和夹取位置,其具体过程如下: 步骤S31:构建RGB图像数据集,包括开源的茄子的RGB图像和采摘机器人系统采集到的茄子的RGB图像,对这些RGB图像进行筛选并对筛选后的RGB图像进行标注,标准时用矩形框分别标注出茄子蒂和茄子果实部分; 步骤S32:基于yolov7_tiny模型,将主干网络修改为MobileNetV3_small网络;将颈部网络中的SPPCSPC模块更换为AIFI模块,得到茄子目标检测模型; 步骤S33:对茄子目标检测模型进行训练,并生成网络文件; 步骤S34:将生成的网络文件部署在计算机主控单元上; 步骤S35:将接收到的预处理后的RGB图像传入到茄子目标检测模型内; 步骤S36:茄子目标检测模型根据所接收到的图像识别出成熟可采摘的茄子,并用矩形框框出茄子蒂和果实部分; 步骤S37:识别到成熟茄子后,根据茄子目标检测模型所绘制的矩形框计算出目标中心的位置,利用区域生长算法,将目标中心位置作为初始种子点,分割出矩形框内的前景和背景,通过对茄子蒂和果实部分分割后的前景图片进行分析,选取茄子蒂前景图片在距离茄子果实部分设定范围处找取根茎直径最细部位作为剪切位置,再根据剪切器和夹取器的实际物理距离,得到果实部分对应的夹取位置; 在所述步骤S37中,区域生长算法的具体处理过程如下: 步骤S371:根据茄子目标检测模型所绘制的矩形框计算出目标中心的位置,将目标中心位置作为初始种子点,将初始种子点所在的像素位置作为初始区域; 步骤S372:从当前区域边界开始,判断相邻像素是否与当前区域相似,如果相似,将该像素加入到区域中; 步骤S373:更新当前区域的边界,继续检查新的相邻像素,直到没有新的相邻像素符合,区域停止生长; 在所述步骤S37中,通过深度相机的内参和外参以及采集到深度图像,构建深度图像与RGB图像之间的映射关系,由计算机主控单元计算出剪切位置和夹取位置的实际坐标和实际宽度数据,并将数据发送至采摘机械臂控制模块,映射关系为: 其中,为P点在深度相机坐标系下的空间坐标,为P点在深度图像的像素坐标系下的平面坐标,f为深度相机焦距,dx为单位像素列方向上的实际物理长度,dy为单位像素行方向上的实际物理长度; 根据映射关系计算机主控单元计算出剪切位置和夹取位置的实际坐标和实际宽度数据的具体过程包括以下步骤: S3701:获取由步骤S37得到剪切位置的像素坐标记为qu,v,则夹取位置的像素坐标为ju,v+d,其中,d为剪切器和夹取器的像素距离; S3702:计算机主控单元根据剪切位置和夹取位置的像素坐标及由步骤S2所接收到的深度信息,得到剪切位置和夹取位置对应的深度信息ZPq和ZPj; S3703:将步骤S3701中的像素坐标和步骤S3702中的深度信息带入上述映射关系,即可得出剪切位置和夹取位置的实际坐标。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人安徽工业大学,其通讯地址为:243032 安徽省马鞍山市经济技术开发区南区嘉善科技园2号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励