买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京国电通网络技术有限公司;国网信息通信产业集团有限公司申请的专利一种对电力领域大语言模型效果的评估方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118093371B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410083297.6，技术领域涉及：G06F11/3668；该发明授权一种对电力领域大语言模型效果的评估方法及系统是由黄启明;卢彩霞;唐志涛;余芳;万劼;王良;郭晓英设计研发完成，并于2024-01-19向国家知识产权局提交的专利申请。

本一种对电力领域大语言模型效果的评估方法及系统在说明书摘要公布了：本发明提供了一种对电力领域大语言模型效果的评估方法及系统，包括将预先构建的电力领域大语言模型评价题库代入电力领域大语言模型中进行作答，得到作答结果；基于所述作答结果计算作答正确率，基于所述作答正确率评估所述电力领域大语言模型的效果；其中，所述电力领域大语言模型评价题库是通过调研电力领域各个应用场景，经过多模型测试和人工测试构建的。本发明通过调研电力领域各个应用场景，经过多模型测试和人工测试构建电力领域大语言模型评价题库，该题库覆盖电力领域各方面的知识，可对电力领域大语言模型的效果进行客观性评估，且适用性高。

本发明授权一种对电力领域大语言模型效果的评估方法及系统在权利要求书中公布了：1.一种对电力领域大语言模型效果的评估方法，其特征在于，包括： 将预先构建的电力领域大语言模型评价题库代入电力领域大语言模型中进行作答，得到作答结果； 基于所述作答结果计算作答正确率，基于所述作答正确率评估所述电力领域大语言模型的效果； 其中，所述电力领域大语言模型评价题库是通过调研电力领域各个应用场景，经过多模型测试和人工测试构建的； 所述电力领域大语言模型评价题库的构建包括： 通过调研电力领域各个应用场景构建初步的电力领域大语言模型评价题库； 对所述初步的电力领域大语言模型评价题库进行多模型测试和人工评价； 基于多模型测试结果和人工评价结果修改所述初步的电力领域大语言模型评价题库，得到修改后的电力领域大语言模型评价题库； 对所述修改后的电力领域大语言模型评价题库进行多模型测试和人工评价，直至经过电力领域大语言模型回答正确率达到设定值，且人工评价无修改建议，将所述修改后的电力领域大语言模型评价题库作为电力领域大语言模型评价题库； 所述基于多模型测试结果和人工评价结果修改所述初步的电力领域大语言模型评价题库，得到修改后的电力领域大语言模型评价题库，包括： 对未经微调的测试结果进行分析，记录各个大语言模型都未能输出正确答案的题目； 对电力领域专业性知识题目，收集在电力领域大语言模型都未能输出正确答案的题目，形成错题集； 对常识性及安全领域题库，查看所述记录，对比经过微调的测试结果，收集未能回答准确的问题且出现在记录中的题目，添加进错题集； 对商用测试结果进行分析，收集未能输出正确答案的题目，与所述错题集进行对比，将出现在错题集中的题目重点标记，并将收集的未能输出正确答案的题目添加进错题集，完善错题库； 对人工评价结果中答错的题目计算出错率，将所述出错率达到设定阈值的题目与所述错题集进行对比，在所述错题集中标注出出错率达到设定阈值的题目； 基于所述错题集、人工评价结果中答题人员的意见和建议修改所述初步的电力领域大语言模型评价题库； 其中，所述多模型测试结果包括：未经微调的测试结果、经过微调的测试结果和商用测试结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京国电通网络技术有限公司;国网信息通信产业集团有限公司，其通讯地址为：100070 北京市海淀区创业中路32号楼32-3-4108-4109；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。