买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学;北京航空航天大学江西研究院申请的专利一种具有视听感知能力的实时对话型数字分身生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117475986B 。

龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310841473.3，技术领域涉及：G10L13/02；该发明授权一种具有视听感知能力的实时对话型数字分身生成方法是由百晓;李嘉禾;吴禹辰;郑锦设计研发完成，并于2023-07-11向国家知识产权局提交的专利申请。

本一种具有视听感知能力的实时对话型数字分身生成方法在说明书摘要公布了：本发明属于图像语音生成领域，提出一种具有视听感知能力的实时对话型数字分身生成方法：在训练和预处理阶段录制真人原型的音视频素材并进行预处理，使用音视频素材训练语音合成模型、唇形生成模型和面部增强模型；在数字分身生成阶段建立缓冲区，经过感知与回答、唇形同步、面部增强和音视频输出四个步骤，生成实时对话的数字分身。本发明能够合成高保真的数字分身，实现与用户的实时交互对话。

本发明授权一种具有视听感知能力的实时对话型数字分身生成方法在权利要求书中公布了：1.一种具有视听感知能力的实时对话型数字分身生成方法，其特征在于，步骤如下： 在训练和预处理阶段录制音视频素材并进行预处理，使用音视频素材训练语音合成模型、唇形生成模型和面部增强模型； 在数字分身生成阶段建立缓冲区，获得肢体动作视频帧队列、待增强队列、音频队列、梅尔频谱队列、音频标记队列和输出队列； 监听获取实时的音频数据，摄像头采集用户的视频数据，根据音频响度判断音频数据中是否存在语音交互信息，根据现有的人体关键点识别模型判断视频数据中是否存在交互动作及识别交互动作的种类： 1若存在所述语音交互信息或交互动作，根据语音交互信息或交互动作进行文本回复，获得数字分身的回答文本；将所述回答文本输入经训练得到的所述语音合成模型，合成回答音频和音频的梅尔频谱，将所合成的回答音频置入音频队列，按照所述视频帧率切分得到与驱动视频帧长相同的音频帧，将各音频帧的梅尔频谱特征依次置入梅尔频谱队列，建立音频标记序列，序列长度为音频帧的帧数，其中首个标记的值为真，用于表示该标记所对应的时刻为音频起始时刻，其余标记的值为假，将序列中的音频标记依次置入音频标记队列；使用现有的分词模型对所述回答文本进行分词，根据分词结果进行肢体动作插入，获得肢体动作视频帧序列，将肢体动作视频帧序列依次置入肢体动作视频帧队列； 2若不存在所述语音交互信息或交互动作，则代表数字分身不需要生成回答或肢体动作，取用最长时间未被使用的且序号最小的一帧驱动视频帧，将该驱动视频帧置入肢体动作视频帧队列，在音频标记队列中置入一个值为假的标记，在梅尔频谱队列中置入一个值为空的特征，用于表示该时间段内无音频内容； 从梅尔频谱队列中取出队列头部的梅尔频谱特征，从肢体动作视频帧队列中取出队列头部的肢体动作视频帧，对梅尔频谱特征进行判断： 1若该梅尔频谱特征不为空，则将梅尔频谱特征与肢体动作视频帧输入所述唇形生成模型，合成与该梅尔频谱特征所对应的音频帧同步的唇形同步视频帧，将该唇形同步视频帧置入待增强队列； 2若该梅尔频谱特征为空，则代表不需要进行唇形同步，直接将该肢体动作视频帧置入待增强队列； 经过面部增强和音视频输出，生成实时对话的数字分身。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学;北京航空航天大学江西研究院，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。