买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京世纪好未来教育科技有限公司申请的专利文本数据处理方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118364109B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410544019.6，技术领域涉及：G06F16/355；该发明授权文本数据处理方法、装置、设备及存储介质是由刘子韬;刘常堃设计研发完成，并于2024-04-30向国家知识产权局提交的专利申请。

本文本数据处理方法、装置、设备及存储介质在说明书摘要公布了：本公开提供一种文本数据处理方法、装置、设备及存储介质。本公开通过预先训练完成的多个模型分别对多个样本文本中每一个样本文本进行推理，得到该多个样本文本分别对应的多个困惑度值。进一步，根据该多个样本文本分别对应的多个困惑度值，确定置信区间，从而根据置信区间确定出该多个样本文本中的异常样本。在对该多个样本文本进行聚类处理，得到多个聚类簇后，去除该多个聚类簇中包含有异常样本的聚类簇，即去除该聚类簇中包含的全部样本文本，这些样本文本通常是低质量或者是与主题不相关的文本数据。使得剩余的样本文本构成高质量的数据集，从而提高了后续依赖于该数据集的处理过程或计算过程的准确度。

本发明授权文本数据处理方法、装置、设备及存储介质在权利要求书中公布了：1.一种文本数据处理方法，所述方法包括： 获取多个样本文本； 针对所述多个样本文本中的每个样本文本，通过预先训练完成的多个模型分别对所述样本文本进行推理，得到所述样本文本对应的多个困惑度值，所述多个模型和所述多个困惑度值一一对应； 根据所述多个样本文本分别对应的多个困惑度值，确定置信区间； 对所述多个样本文本进行聚类处理，得到多个聚类簇； 去除所述多个聚类簇中包含有异常样本的聚类簇，所述异常样本是所述多个样本文本中位于所述置信区间外的样本文本； 其中，根据所述多个样本文本分别对应的多个困惑度值，确定置信区间，包括： 针对所述多个样本文本中的每个样本文本，将所述样本文本对应的多个困惑度值整合成一个困惑度向量，并计算所述困惑度向量中包含的元素的平均值； 根据所述多个样本文本分别对应的平均值，计算符合正态分布的置信区间； 其中，对所述多个样本文本进行聚类处理，得到多个聚类簇，包括： 根据所述多个样本文本中任意两个样本文本分别对应的困惑度向量，计算所述任意两个样本文本之间的距离； 根据所述多个样本文本中任意两个样本文本之间的距离，对所述多个样本文本进行聚类处理，得到多个聚类簇。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京世纪好未来教育科技有限公司，其通讯地址为：100085 北京市海淀区小营西路10号院1号楼B座7层701室1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。