买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国标准化研究院申请的专利一种基于大数据分析的AI模型性能评价方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120123714B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510614972.8，技术领域涉及：G06F18/21；该发明授权一种基于大数据分析的AI模型性能评价方法及系统是由隋媛;孙广芝;王淑敏;程越;王双设计研发完成，并于2025-05-14向国家知识产权局提交的专利申请。

本一种基于大数据分析的AI模型性能评价方法及系统在说明书摘要公布了：本发明公开了一种基于大数据分析的AI模型性能评价方法及系统，涉及大数据分析技术领域，包括，针对目标AI模型获取任务文本数据，通过嵌入模型进行分词处理输出文本向量，使用UMAP算法对任务向量进行降维并聚类计算得到任务簇，计算任务文本向量间的余弦相似度构建任务图谱，并使用图神经网络提取任务风险评分。本发明所述方法通过利用图卷积的层次性来强化每个任务的风险评估，使得风险评分更加准确可靠，为后续的任务管理和优化提供了优先级参考，RL算法基于奖励机制不断优化生成策略，使得提示模板能够更好地符合任务目标，提高任务执行质量，通过生成对抗网络生成多个高质量的优化提示模板，确保在不同任务场景下的执行质量。

本发明授权一种基于大数据分析的AI模型性能评价方法及系统在权利要求书中公布了：1.一种基于大数据分析的AI模型性能评价方法，其特征在于，包括： 针对目标AI模型获取任务文本数据，通过嵌入模型进行分词处理输出文本向量，使用UMAP算法对任务向量进行降维并聚类计算得到任务簇，计算任务文本向量间的余弦相似度构建任务图谱，并使用图神经网络提取任务风险评分，创建提示模板进行学习优化，通过对抗网络生成不同的优化提示模板； 根据优化提示模板计算目标任务模型输出与标准输出的余弦相似度和Jaccard相似度，筛选优化提示模板，对目标任务模型输出的文本和标准输出文本分别进行BERT编码并计算语义匹配度进行量化评分，对模型输出文本和标准文本进行LCS比对，生成文本的质量数据集，基于BERT编码进行不同时间窗口的聚类散度计算，进行散度预警； 获取用户反馈记录，并计算错误文本输出内容与标准文本之间的n-gram重叠度，并根据标签词的出现频率计算词汇分布的滑动偏差，分别进行分数预警和偏差预警； 生成日志记录进行定期分析，对加密数据项进行加密存储，通过安全传输进行数据备份； 所述生成不同的优化提示模板，包括， 基于目标AI模型的询问任务文本数据集，进行数据清洗并基于NLTK库执行分词处理； 使用预训练的嵌入模型BERT对每个任务的文本进行嵌入向量维度，将每个任务文本转化为文本向量，使用UMAP算法对任务向量进行降维； 使用K-means聚类算法对降维后的向量进行聚类得到任务簇，每个聚类簇包含了一组语义相似的任务文本向量，计算任务文本向量间的余弦相似度，作为任务间相似度的度量； 根据任务间相似度以及任务簇，使用图数据库Neo4j构建任务图谱，根据任务簇对所属簇的每个任务作为一个节点，节点之间的边权重为任务的相似度，使用图神经网络GNN通过图卷积操作传递节点之间的信息来更新每个节点的特征表示； 根据多层卷积逐层更新节点表示通过全连接层输出每个任务的风险评分，并基于风险评分对任务进行优先级的降序排序，明确任务簇的任务目标，创建提示模板，包括任务目标、输入示例以及输出格式； 使用强化学习RL算法，用标准提示模板初始化任务簇的提示，智能代理根据初始提示生成模型输出，并与任务簇的输入输出要求作为环境进行交互，计算输出文本与标准输出的准确性和完整性，根据奖励函数调整提示模板，智能代理通过多次与环境交互进行迭代，直至准确性和完整性的变化不再明显，则停止迭代，生成优化提示模板； 使用生成对抗网络GANs算法，通过生成器和判别器进行对抗训练，生成多个不同版本的优化提示模板。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国标准化研究院，其通讯地址为：100191 北京市海淀区知春路4号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。