买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉临沂大学;海尔机器人科技(青岛)有限公司;青岛海尔科技有限公司;青岛海尔智能家电科技有限公司申请的专利面向智能家居多模态对话系统的知识抽取与挖掘方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120850235B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511361621.7，技术领域涉及：G06F18/25；该发明授权面向智能家居多模态对话系统的知识抽取与挖掘方法是由姚双龙;丁来国;田云龙;牛丽;翟文彬;王星;刘烨;杨亭;李晓乐;高雷设计研发完成，并于2025-09-22向国家知识产权局提交的专利申请。

本面向智能家居多模态对话系统的知识抽取与挖掘方法在说明书摘要公布了：本发明涉及多模态对话技术领域，尤其涉及面向智能家居多模态对话系统的知识抽取与挖掘方法，其包括以下步骤：S1.智能家居多模态对话系统输入数据获取；S2.多模态显性知识图谱构建；S3.多模态显性知识表示学习；S4.多模态显性知识的推理与关系补全；S5.多模态隐性知识的挖掘与表示学习。本发明对海量非结构化文本、图片和视频进行知识提取与对齐，完成多模态知识图谱的构建，并基于语义元路径进行图谱的表示学习，通过图卷积运算提取丰富的子图信息以完成知识推理，进而补全缺失的关系。此外基于大规模预训练模型，设计挖掘隐性知识的预训练任务，引导模型学习出情感等隐性知识，能够提高对话系统的逻辑推理能力。

本发明授权面向智能家居多模态对话系统的知识抽取与挖掘方法在权利要求书中公布了：1.一种面向智能家居多模态对话系统的知识抽取与挖掘方法，其特征是：包括以下步骤： S1.智能家居多模态对话系统输入数据获取：由智能家居中的各个传感器捕捉用户的多模态数据，进而获得多模态数据集； S2.多模态显性知识图谱构建：多模态数据集经过基于BERT的双向循环神经网络模型得到实体集、关系集和三元组集，基于所述实体集、关系集以及三元组集构建多模态显性知识图谱； S3.多模态显性知识表示学习：多模态显性知识图谱经过显性知识表示学习模型进行处理，得到实体节点的特征表示向量以及实体节点之间的关系表示向量； 所述显性知识表示学习模型包括子图结构获取模块和多层图卷积模块，具体步骤包括： 所述多模态显性知识图谱经过所述子图结构获取模块通过基于语义元路径Semantic MetaPath的方式得到蕴含语义的子图结构，进一步结合图卷积运算聚合子图结构的邻接节点的信息，公式表示如下： ，其中，和分别表示邻接实体节点的特征表示向量，与分别表示元路径第层与第层实体节点的特征表示向量，表示节点采用随机函数随机生成的初始特征向量，表示元路径第层的神经网络权重，表示实体节点和之间的关系向量，表示语义元路径，表示卷积运算； 子图结构的邻接节点的信息经过多层图卷积模块进行多层图卷积的运算，计算得到实体与关系向量，再构建三元组的正例和负例，并对损失函数进行优化，损失函数计算公式为： ，其中，表示距离因子，表示随机替换后第个实体节点的实体向量，表示随机替换后第个实体节点的实体向量，表示三元组的正例，表示距离函数，表示将异构的多模态实体和关系映射到统一的向量空间中，最终经过训练获得多模态显性知识图谱中实体节点的特征表示向量以及实体节点之间的关系表示向量； S4.多模态显性知识的推理与关系补全：多模态显性知识图谱与所述实体节点的特征表示向量以及实体节点之间的关系表示向量输入到多模态显性知识图谱知识推理模型中进行推理，补全知识图谱中缺失的三元组知识，得到多模态显性知识图谱中新的图数据，进而得到完整的多模态显性知识图谱； 所述多模态显性知识图谱知识推理模型包括图卷积模块、图池化模块以及注意力机制模块，具体步骤包括： 将所述多模态显性知识图谱与所述实体节点的特征表示向量以及实体节点之间的关系表示向量输入到图卷积模块进行卷积操作，得到卷积后的三元组的图，然后经过图池化模块，对所述卷积后的三元组的图中节点进行聚合，取相邻节点的平均值为最新节点，得到聚合后的图，然后将聚合后的图输入注意力机制模块，通过计算每个节点和其邻居节点的特征向量，以及当前节点与邻居节点的注意力权重，得到与当前节点关系密切的邻居节点，然后将得到的邻居节点的特征进行加权求和，得到当前节点的新特征表示，最终得到多模态显性知识图谱中新的图数据，计算公式如下： ，其中，表示利用图卷积神经网络GCN获得的子图特征，，分别表示节点的度，表示线性变换矩阵，表示偏移量，表示邻接节点的特征向量，表示节点的邻接节点集，表示经过注意力矩阵加权的子图特征，表示用于分类的神经网络‑‑两层全连接神经网络，表示第i个实体节点，表示第j个实体节点，表示激活函数,表示sigmoid激活函数； S5.多模态隐性知识的挖掘与表示学习：所述多模态数据集通过基于BERT的预训练情感分类模型得到当前用户情感状态的概率分布向量，进而得到微调后的模型，将完整的多模态显性知识图谱输入到微调后的模型中，得到多模态数据中的隐含的情感信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人临沂大学;海尔机器人科技(青岛)有限公司;青岛海尔科技有限公司;青岛海尔智能家电科技有限公司，其通讯地址为：276000 山东省临沂市兰山区工业大道北段西侧；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。