买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉暨南大学申请的专利一种基于动态数据评估的大语言模型能力评估方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119988914B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510481116.X，技术领域涉及：G06F18/21；该发明授权一种基于动态数据评估的大语言模型能力评估方法及系统是由刘子韬;杨帆;池金玮设计研发完成，并于2025-04-17向国家知识产权局提交的专利申请。

本一种基于动态数据评估的大语言模型能力评估方法及系统在说明书摘要公布了：本发明涉及机器学习技术领域，特别是涉及一种基于动态数据评估的大语言模型能力评估方法及系统，方法包括：获取用户输入的题目，并从所述题目中提取核心知识点和主旨内容；基于所述核心知识点和主旨内容，利用预训练的大语言模型进行联网检索，生成与所述题目相关的知识详述；基于所述核心知识点、主旨内容和知识详述，生成评估题目；对所述评估题目进行难度调控和优化，获取最终评估题目；对所述最终评估题目进行多维度能力评估和质量检测，获取评估结果，完成大语言模型的能力评估。本发明能够确保评估数据的质量和一致性，提升LLMs能力评估的可靠性与公平性。

本发明授权一种基于动态数据评估的大语言模型能力评估方法及系统在权利要求书中公布了：1.一种基于动态数据评估的大语言模型能力评估方法，其特征在于，包括： 获取用户输入的题目，通过自然语言处理技术对所述题目进行解析，并利用few-shot学习技术根据解析信息提取核心知识点和主旨内容； 基于所述核心知识点和主旨内容进行联网检索，获取相关背景信息，其中，所述相关背景信息包括最新资料、研究成果、定义、案例； 将所述核心知识点、主旨内容输入预训练的大语言模型，输出知识阐述，其中，所述知识阐述包括详细解释、示例和案例、领域扩展； 将所述相关背景信息和知识阐述进行整合，获取知识详述； 整合所述核心知识点、主旨内容和知识详述，获取整合信息； 基于所述整合信息，根据题目类型和评估目标生成初步题目框架； 对所述初步题目框架进行复杂度调整和重复性检测，根据布鲁姆分类法的六个认知层次生成对应的多维度问题，包括记忆、理解、应用、分析、评价和创造六个维度的问题； 对多层次题目框架进行质量检测，获取评估题目； 对所述评估题目进行复杂度评估，基于评估结果进行复杂度调控，计算生成数据集与原始数据集的准确率差异作为偏移量，通过偏移量量化生成题目与原始题目之间的难度差距，并根据难度差距调整生成题目的内容； 利用多个大语言模型对调控后的评估题目进行验证和反馈，并通过反馈结果对调控后的评估题目进行优化，获取最终评估题目，其中，进行所述验证和反馈包括： 多模型预测：将生成的题目输入多个预设的LLMs模型，并通过模型对题目的难度进行预测，根据模型的反馈结果进一步优化题目的难度，使题目符合预定要求； 反馈调整：根据多模型的反馈，对题目的复杂度进行微调； 获取所述最终评估题目还包括：对所述评估题目进行难度评估，并根据评估结果对所述评估题目进行排序，获取难度分布情况； 基于所述难度分布情况判断难度跨度，若所述难度跨度超出预设难度跨度，对所述评估题目的难度进行平滑处理，获取难度分布均衡的评估题目； 采用布鲁姆认知分层，基于所述最终评估题目生成不同认知层次的分类题目，包括记忆、理解、应用、分析、评价、创造，从多维度上评估大语言模型在包含分类题目的不同认知层次上的表现，获取多维度评估结果； 采用若干大语言模型分别对每个最终评估题目进行质量检测、准确性检测、逻辑合理性检测、一致性与多样性检测，获取检测结果； 结合所述多维度评估结果和检测结果完成大语言模型的能力评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人暨南大学，其通讯地址为：510632 广东省广州市天河区黄埔大道西601号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。