中国电子技术标准化研究院((工业和信息化部电子工业标准化研究院)(工业和信息化部电子第四研究院))鲍薇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国电子技术标准化研究院((工业和信息化部电子工业标准化研究院)(工业和信息化部电子第四研究院))申请的专利一种人工智能大模型通用能力的评测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120371671B 。
龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510490453.5,技术领域涉及:G06F11/34;该发明授权一种人工智能大模型通用能力的评测方法是由鲍薇;徐洋;郑若琳;叶珩;董建;周宏理设计研发完成,并于2025-04-18向国家知识产权局提交的专利申请。
本一种人工智能大模型通用能力的评测方法在说明书摘要公布了:本发明涉及人工智能模型技术领域,具体地说是一种人工智能大模型通用能力的评测方法,将人工智能可实现的智能能力进行从大到小的具体划分,并对每个划分内容进行单独评价和准确性、精准性、召回率等验证,通过对其能力的客观评价结合主观评价以及人工介入,形成一个综合的、客观的、具体的、灵活的以及稳定的通用能力评价方法,为各行各业的人工智能大模型的开发、应用、评估提供了科学有效的标准。
本发明授权一种人工智能大模型通用能力的评测方法在权利要求书中公布了:1.一种人工智能大模型通用能力的评测方法,其特征在于,所述大模型包括理解、生成、安全三个维度; S1,理解能力评测分为单模态维度和多模态维度,所述单模态维度包括文本、图像、音频三个二级维度;所述多模态维度包括图文、文音、图音、图文音四个二级维度; S2,生成能力评测分为单模态生成能力和多模态维度生成能力,所述单模态生成能力包括文本维度;所述多模态维度生成能力包括图文、图文音、文音三个二级维度; S3,安全能力满足国家相关规定的要求; S4,将所述S1和所述S2中的理解能力和生成能力的二级维度进行分类,其中模型大类包括单模态大模型和多模态大模型;其中单模态大模型的模型小类包括文本大模型、图像大模型、音频大模型;其中多模态大模型的模型小类包括图文大模型、文音大模型、图音大模型和图文音大模型;对各所述模型小类进行基础能力评测和进阶能力评测,所述基础能力评测和进阶能力评测包括准确率、召回率、精确率、micro-F1值、BLEU指标、Rouge-L指标; S5,对所述S4中的各模型进行评测,具体包括: S5-1,自动化测试: 在评测数据集中构建出相应的参考答案,在自动化测试脚本中清晰定义具体的评价指标计算方法和评分规则; S5-2,人工测试: S5-2-1,制定清晰、具体的评价标准和指南,并对评价人员进行充分的培训,确保所有评价人员;对评价的标准有统一的理解和执行; S5-2-2,分析评价结果的分布和一致性,及时发现潜在的评价偏差或不一致问题;S5-2-3,选择具有相关领域知识和经验的评价人员,以确保评价结果准确性和专业性; S5-2-4,为评价人员提供相应的评价工具,以支持评价人员的工作; S5-2-5,当标准内容有调整时,对评价人员定期进行复训,更新评价知识和技能;S5-2-6,定期收集评价人员的反馈,用于优化评价流程和评价标准; S5-3,使用大模型作为裁判进行测试: S5-3-1,选择与评估任务相关性高的大模型,使用多个大模型进行交叉验证,以提高测试的稳定性; S5-3-2,定义清晰的评估标准和评分规则,并转成能激发大模型更佳性能表现的输入提示词,确保大模型按照既定标准进行测试; S5-3-3,在测试过程中引入人工审核机制,及时识别问题和调整评估策略,以确保评估的准确性和公正性; S5-3-4,确保测试过程中大模型访问接口的稳定可靠,用以确保评估过程的连续性。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国电子技术标准化研究院((工业和信息化部电子工业标准化研究院)(工业和信息化部电子第四研究院)),其通讯地址为:100007 北京市东城区安定门东大街1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励