四川参盘供应链科技有限公司孙晓宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉四川参盘供应链科技有限公司申请的专利一种多模态智能机器人系统及交互方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120588256B 。
龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511093161.4,技术领域涉及:B25J11/00;该发明授权一种多模态智能机器人系统及交互方法是由孙晓宇;张祥阳;江培荣;黄俊才;韩冲;周思涵;唐娜;苏洪坤;杨祥;贺飞;谭阳;陈廷红;邬凯;刘继强;何永霞;向超;黄地雄设计研发完成,并于2025-08-06向国家知识产权局提交的专利申请。
本一种多模态智能机器人系统及交互方法在说明书摘要公布了:本发明涉及一种多模态智能机器人系统及交互方法,属于机器人数字数据处理技术领域,包括如下步骤:步骤S1:多模态输入采集;步骤S2:多模态输入预处理;步骤S3:多模态信息融合,输入至预训练的多模态特征融合模型,通过量化特征数据融合机制对各模态特征进行特征融合,得到用户交互意图向量以及用户情绪状态向量;步骤S4:交互响应生成,基于用户交互意图向量匹配预设的交互响应策略库,得到基础响应内容,结合用户情绪状态向量对基础响应内容进行情绪适配调整,生成包含文本信息、语音信息以及动作信息的多模态响应内容;步骤S5:交互反馈执行;本发明有益效果:通过基础响应内容、用户情绪状态向量,实现机器人融合多模态信息、动态优化交互。
本发明授权一种多模态智能机器人系统及交互方法在权利要求书中公布了:1.一种多模态智能机器人交互方法,其特征在于,包括如下步骤: 步骤S1:多模态输入采集,通过机器人配置的图像采集装置、声音采集装置以及触控感应装置,同步采集用户的视觉输入信息、语音输入信息以及触控输入信息,其中,视觉输入信息包括用户的面部表情图像及肢体动作图像,语音输入信息包括用户的语音指令及语音情绪特征,触控输入信息包括用户的触控位置以及触控力度; 步骤S2:多模态输入预处理,对采集到的视觉输入信息进行图像降噪以及图像特征点提取,得到面部表情特征向量以及肢体动作特征向量;对语音输入信息进行语音降噪、语音识别以及情绪特征提取,得到文本指令以及语音情绪特征向量;对触控输入信息进行坐标转换以及力度量化,得到触控特征向量; 步骤S3:多模态信息融合,将面部表情特征向量、肢体动作特征向量、文本指令、语音情绪特征向量以及触控特征向量,输入至预训练的多模态特征融合模型,多模态特征融合模型通过量化特征数据融合机制对各模态特征进行特征融合,得到用户交互意图向量以及用户情绪状态向量,输出用户交互意图向量以及用户情绪状态向量; 其中,多模态特征融合模型是将融合向量输入任务头,分别输出用户交互意图向量和情绪状态向量: 用户交互意图向量: ; 其中,为交互意图预测函数,为多模态融合后的特征向量;为意图预测的权重矩阵;为意图预测的偏置向量; 用户情绪状态向量: ; 其中,为情绪状态预测函数;为多模态融合后的特征向量,是情绪预测的权重矩阵,情绪预测的偏置向量; 步骤S4:交互响应生成,基于用户交互意图向量匹配预设的交互响应策略库,得到基础响应内容;结合用户情绪状态向量对基础响应内容进行情绪适配调整,生成包含文本信息、语音信息以及动作信息的多模态响应内容; 所述基础响应内容的输出步骤为,输入用户交互意图向量,处理匹配预设交互响应策略库,输出基础响应内容; 所述情绪适配调整的步骤为,输入用户情绪状态向量+基础响应内容,处理通过情绪适配算法调整语言风格、语气和表达强度,输出情绪适配后的文本内容; 所述动作信息的多模态响应内容的生成步骤为,输入情绪适配文本,处理语音转换为对应语调的语音,动作生成匹配情绪的动作指令输出文本+语音+动作的多模态响应; 所述交互意图向量匹配为,通过余弦相似度计算,具体为: ; 其中,表示用户意图向量和第条策略向量的匹配度,选择值最大的对应的响应文本作为基础内容;为用户交互意图向量;为预设交互响应策略库中的第条策略向量;向量的点积运算符号,用于计算两个向量对应维度元素的乘积之和;为向量的模长,也就是向量的长度,计算公式为,是向量第个维度的元素;为向量的模长,计算公式为,其中,是向量第个维度的元素; 点积是将用户意图向量和策略向量对应维度的元素相乘,然后将所有乘积相加,得到; 模长乘积是分别计算向量和的模长,然后将它们相乘,分母的作用是对分子进行标准化,消除向量长度差异对匹配度计算的影响; 计算匹配度为将分子除以分母,得到,值的范围在[−1,1]之间,值越接近1,说明用户意图和该策略的匹配度越高; 所述情绪适配为,适配后文本的生成逻辑: ; 其中,为情绪调整函数,针对第个情绪维度的情绪调整函数,会根据基础响应内容和对应的情绪维度来确定具体的调整方式;为用户情绪状态向量中第个情绪维度的数值,值的范围为[−1,1];为第个情绪维度对响应内容调整的权重系数,用于衡量该情绪维度在适配过程中的重要程度;为经过情绪适配调整后的最终响应内容;为基于用户交互意图向量匹配预设策略库得到的基础响应内容; 为计算各项情绪调整量,具有每个情绪维度,在某情绪维度下对基础响应内容的幅度进行调整; 为求和得到总调整量,是将所有情绪维度的调整量相加,得到对基础响应内容的总调整量; 步骤S5:交互反馈执行,控制机器人的显示装置输出文本信息,控制语音播放装置输出语音信息,控制驱动装置执行动作信息,并通过图像采集装置实时采集用户对多模态响应内容所反馈的用户情绪状态,基于用户情绪状态更新多模态特征融合模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人四川参盘供应链科技有限公司,其通讯地址为:610000 四川省成都市锦江区三色路269号7栋1楼002号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励