买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥大学申请的专利一种基于预训练模型和图卷积网络的政府热线文本层次分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119938921B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510012174.8，技术领域涉及：G06F16/353；该发明授权一种基于预训练模型和图卷积网络的政府热线文本层次分类方法是由许强;满家相;嵇圣硙设计研发完成，并于2025-01-06向国家知识产权局提交的专利申请。

本一种基于预训练模型和图卷积网络的政府热线文本层次分类方法在说明书摘要公布了：一种基于预训练模型和图卷积网络的政府热线文本层次分类方法，涉及智能文本分类技术领域。当前，深度学习方法在层次多标签文本分类上展现出了更高的分类精度，然而大部分只是简单将标签当作监督信息，并没有充分利用标签与文本之间的相关性。为了更快速高效的对政府热线文本进行层次分类，以便及时把市民遇到的问题交给相关部门进行处理，本发明提出的该模型将大规模预训练模型与图神经网络相结合，有效利用了标签的层次结构和文本语义信息，显著提高了分类准确率和效率。模型在数据集上构建一个包含标签、文档和单词的异构图，并充分利用了两个模型的优势，为政府热线文本的自动化分类提供了有效的解决方案。

本发明授权一种基于预训练模型和图卷积网络的政府热线文本层次分类方法在权利要求书中公布了：1.一种基于预训练模型和图卷积网络的政府热线文本层次分类方法，其特征在于，步骤如下： 步骤1、获取数据集并处理 获取政府热线电话文本描述的数据集，对获取到的数据集进行清洗，去除文本中的多余空格、特殊字符、无关符号确保文本内容的整洁和一致性，处理缺失值和异常值对异常值进行标记或删除；使用中文分词工具对清洗后的文本进行分词处理，将文本拆分成单词或词组；将处理后的数据划分为训练集、验证集和测试集，训练集用于模型的训练和优化，测试集用于评估模型的性能； 步骤2、构建异构图 定义三种类型的节点：文档节点、单词节点和标签节点；构建边以及权重计算； 步骤3、模型初始化 在模型训练开始前，首先使用数据集对ROBERTA模型进行微调获得ROBERTA模型的权重参数，以加快模型训练速度；节点表示初始化：使用预训练的ROBERTA模型获取文档嵌入和单词嵌入，作为节点表示的初始值； 步骤4、模型训练 联合训练：同时训练GCN模型和ROBERTA模型，利用GCN处理复杂结构的能力，结合ROBERTA的强大语义表示能力，提高分类的准确性和效率；在训练期间，使用内存库M来存储所有文档节点的输入特征；即在每个训练轮次的开始，首先使用ROBERTA模型计算所有文档嵌入，并将它们存储在M中；在每次选代训练中从M采样一个批次数据批次大小为16；然后将数据送入ROBERTA模块得到新的嵌入表示，并更新到M中对应的文档节点，再使用GCN模块对整个图进行训练；损失函数优化：使用二元交叉损失函数，通过梯度下降优化算法，最小化损失函数，更新模型参数； 步骤5、预测与评估 预测阶段：对测试集中的文本数据进行预测，将GCN的输出视为文档的最终表示，并使用softmax函数计算每个标签的概率；在训练过程中，也使用了ROBERTA模块得到的文档嵌入输入到sotmax函数计算每个标签的概率；最终每个标签的预测概率是GCN和ROBERTA的预测线性插值；评估指标：使用Macro-F1和Micro-F1作为评估指标，对模型的性能进行评估，以反映模型的分类准确性和泛化能力。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥大学，其通讯地址为：230601 安徽省合肥市经开区锦绣大道99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。