龙岩学院钟美华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉龙岩学院申请的专利一种基于众包的分词标注质量评估系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119204007B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411707022.1,技术领域涉及:G06F40/289;该发明授权一种基于众包的分词标注质量评估系统是由钟美华;钟国坚;李美莲设计研发完成,并于2024-11-27向国家知识产权局提交的专利申请。
本一种基于众包的分词标注质量评估系统在说明书摘要公布了:本发明公开了一种基于众包的分词标注质量评估系统,涉及标注质量评估领域,用于解决众包用户的主观理解能力存在差异导致提交的标注结果与对应类型存在偏差,使得质量识别不清的问题,采集文本分词置信度评分、文本对应类型与其余类型标准相似度、用户本轮标注数量差以及用户历史标注正确率差值建立数据分析模型,得到偏差评估系数并与偏差阈值比对,得到并统计比对结果,进一步确定标注结果错误提交的可能,标记为再划分标注结果,可划分类别相似度以及最相似标注结果对应的类别与最相似类别相似差异制定一组模糊规则进行模糊推理,确定再划分标注结果的划分方案,弥补了当前系统无法捕捉用户主观性差异的空白,提高标注效率。
本发明授权一种基于众包的分词标注质量评估系统在权利要求书中公布了:1.一种基于众包的分词标注质量评估系统,其特征在于:包括数据采集模块、数据处理模块、偏差分析模块以及标注划分模块;各模块之间信号连接; 数据采集模块采集文本特征信息以及用户特征信息,通过数据化处理,得到文本分词置信度评分、文本对应类型与其余类型标准相似度、用户本轮标注数量差以及用户历史标注正确率差值,并发送至数据处理模块; 数据处理模块用于获取文本分词置信度评分、文本对应类型与其余类型标准相似度、用户本轮标注数量差以及用户历史标注正确率差值,建立数据分析模型,得到偏差评估系数,并发送至偏差分析模块; 偏差分析模块用于获取偏差评估系数,并与预设的偏差阈值进行比对分析,得到并统计比对结果,将大于或等于偏差阈值的偏差评估系数数值相加值与小于偏差阈值的偏差评估系数数值相加值进行加权比值计算,进一步确定标注结果错误提交的可能,标记为再划分标注结果,发送至标注划分模块; 标注划分模块用于根据获取的再划分标注结果确定可划分类别相似度以及最相似标注结果对应的类别与最相似类别相似差异,带入模糊逻辑确定再划分标注结果的划分方案; 文本特征信息包括文本分词置信度评分以及文本对应类型与其余类型标准相似度,用户特征信息包括用户本轮标注数量差以及用户历史标注正确率差值; 通过提交类型的置信度评分与各个类别的标注标准的置信度评分进行相减计算得到文本分词置信度评分;其中,i为第i个比对标注标准; 通过获取每个文本类型定义的标注标准,将标注标准和用户提交的标注结果对应类型的标注标准通过结合词频和逆文档频率进行向量化,得到各个标注标准的词汇向量,使用Jaccard相似度得到文本对应类型与其余类型标准相似度; 通过用户在本轮该标注结果对应类型的标注数量与其余类型标注数量进行差值计算得到用户本轮标注数量差; 通过计算用户在对应类型的标注历史平均正确率与其余类型的标注历史平均正确率之间的差值得到用户历史标注正确率差值; 获取文本分词置信度评分、文本对应类型与其余类型标准相似度、用户本轮标注数量差以及用户历史标注正确率差值,生成偏差评估系数,根据的公式为: ; 若<0,≥0时,则,反之,若≥0,<0时,则; 式中,为偏差评估系数,、、以及分别为文本分词置信度评分、文本对应类型与其余类型标准相似度、用户本轮标注数量差以及用户历史标注正确率差值的预设比例系数,且、、以及均大于0。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人龙岩学院,其通讯地址为:364012 福建省龙岩市新罗区东肖北路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。