北京航空航天大学杨杨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利一种基于多任务层次化网络的陆空通话智能语义理解方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119670756B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411720651.8,技术领域涉及:G06F40/30;该发明授权一种基于多任务层次化网络的陆空通话智能语义理解方法是由杨杨;蔡开泉;邓祺翰;张明华;张霄霄设计研发完成,并于2024-11-28向国家知识产权局提交的专利申请。
本一种基于多任务层次化网络的陆空通话智能语义理解方法在说明书摘要公布了:本发明涉及空中交通管制技术领域,具体涉及一种基于多任务层次化网络的陆空通话智能语义理解方法,包括:对陆空通话语料数据进行编码,得到词语级别表示、句子级别表示和词语级别掩码表示;进行知识蒸馏处理,获取槽位表示;将句子级别表示分别进行角色注意力处理和意图注意力处理,再进行角色‑意图融合后,得到角色表示和意图表示;对槽位表示、角色表示和意图表示进行语义层次双向增强交互处理,得到词语级特征和句子级特征;采用多任务解码器对词语级特征和句子级特征进行解码,获取对陆空通话语料数据预测的槽位、预测的角色以及预测的意图;本发明能够实现全面和细致的陆空通话智能语义理解。
本发明授权一种基于多任务层次化网络的陆空通话智能语义理解方法在权利要求书中公布了:1.一种基于多任务层次化网络的陆空通话智能语义理解方法,其特征在于,所述多任务层次化网络对陆空通话语料数据的处理包括以下步骤: 步骤S1、对陆空通话语料数据进行词语级别和句子级别的编码,得到词语级别表示和句子级别表示; 步骤S2、对所述陆空通话语料数据进行词语级别的掩码编码,得到词语级别掩码表示,基于所述词语级别表示和所述词语级别掩码表示进行知识蒸馏处理,获取槽位表示; 步骤S3、将所述句子级别表示分别进行角色注意力处理和意图注意力处理,再进行角色-意图融合后,得到角色表示和意图表示; 步骤S4、对所述槽位表示、角色表示和意图表示进行语义层次双向增强交互处理,得到词语级特征和句子级特征; 步骤S5、采用多任务解码器对所述词语级特征和句子级特征进行解码,获取对所述陆空通话语料数据预测的槽位、预测的角色以及预测的意图; 所述步骤S2具体包括: 步骤S2-1、基于空中交通管制场景的标准术语,建立外部知识库;基于历史陆空通话语料库数据建立内部知识库;将所述内部知识库和外部知识库共同构成候选掩码词语集; 步骤S2-2、采用掩码语言模型和共享编码器对所述陆空通话语料数据进行处理后,输入针对掩码的特征特定编码器进行编码,得到词语级别掩码表示; 步骤S2-3、基于教师模型和学生模型对所述词语级别表示和词语级别掩码表示进行知识蒸馏处理,得到槽位表示; 步骤S2-1中,所述基于历史陆空通话语料库数据建立内部知识库的具体步骤包括:采用TF-IDF词频处理技术对历史陆空通话语料库数据中的文字进行词语划分,并依据词语出现频率对划分得到词语进行排序,从已排序的词语中选择排序最高的一部分词语作为内部知识库; 步骤S2-2具体包括:采用掩码语言模型对所述陆空通话语料数据进行处理,得到掩码词语序列,,表示替换的掩码标记,采用所述共享编码器对进行处理,得到,,其中,为中第n个词对应的共享表示,为掩码标记对应的共享表示,和分别为掩码语句边界;使用第三双向LSTM网络中对进行计算,得到词语级别掩码表示; 步骤S2-3具体包括:教师模型将与进行拼接并进行处理,生成教师表示,学生模型对进行处理,生成槽位表示,表达式为: 其中,表示拼接操作,表示教师模型,表示学生模型; 所述步骤S3具体包括: 步骤S3-1、基于所述句子级别表示进行计算,得到角色注意力权重和意图注意力权重;基于所述角色注意力权重和意图注意力权重,分别得到角色上下文和意图上下文; 步骤S3-2、利用角色-意图融合层将所述角色上下文投影到意图潜在空间,得到融合投影,将所述意图上下文和所述融合投影拼接,得到角色表示;将所述角色表示映射到意图标签空间,得到意图表示; 所述步骤S3-1具体包括:通过以下公式计算角色注意力权重和意图注意力权重: 其中,和分别表示角色注意力的权重和偏置,函数将计算结果归一化为角色注意力权重,和分别表示意图注意力的权重和偏置; 通过将与转置的注意力权重和相乘,分别得到角色上下文和意图上下文: 其中,和分别表示生成加权的角色和意图表示,和分别为角色和意图的维度转换矩阵; 所述步骤S3-2具体包括:利用角色-意图融合层进行计算,得到融合投影:表达式为: 其中表示角色-意图融合层; 角色表示以及意图表示的表达式为: 其中,和分别表示句子的权重和偏置; 所述步骤S4具体包括: 将所述槽位表示、角色表示和意图表示依次确定为所述语义层次双向增强交互处理的语义层次序列,即,为第层的输入表示; 使用双向双线性变换在层次内计算交互得分,表达式为: 其中,为第层的反向交互得分,为第层的前向交互得分,表示计算层次间的交互得分,为第层的输入表示的转置,为反向得分矩阵,为前向得分矩阵; 计算第层的反向和前向传递向量和,表达式为: 其中,和为反向和前向传递权重,和为反向和前向传递偏置; 通过结合和与和,递归地聚合计算,得到词语级特征和句子级特征,表达式为: 其中,表示从第层到第层的聚合词语级特征,表示层次的总数量,表示从第1级到第级的聚合句子级特征; 最终,将和分别作为所述词语级特征和句子级特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。