买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉腾讯科技(深圳)有限公司申请的专利文本语料处理方法、装置、存储介质及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114328818B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111415376.5，技术领域涉及：G06F16/334；该发明授权文本语料处理方法、装置、存储介质及电子设备是由石志林设计研发完成，并于2021-11-25向国家知识产权局提交的专利申请。

本文本语料处理方法、装置、存储介质及电子设备在说明书摘要公布了：本申请实施例公开了文本语料处理方法、装置、存储介质及电子设备，上述方法包括获取文本语料；对上述文本语料进行分词处理，得到上述文本语料对应的词序列；对上述词序列进行信息提取处理，得到上述词序列中每个词对应的特征信息和权重信息，上述权重信息根据上述词在上述词序列中的语义重要程度和位置重要程度确定；对上述每个词对应的特征信息进行哈希映射，得到上述每个词对应的编码信息；根据上述每个词对应的编码信息和对应的权重信息，得到上述每个词对应的加权编码信息；对各个词对应的编码信息进行融合操作，得到上述文本语料对应的文本信息。本申请可以提升文本语料去重速度和去重准确度。

本发明授权文本语料处理方法、装置、存储介质及电子设备在权利要求书中公布了：1.一种文本语料处理方法，其特征在于，所述方法应用于分布式存储系统，所述分布式存储系统包括数据分析组件，所述方法包括： 获取文本语料； 所述数据分析组件提取所述文本语料中的标题语料和内容语料； 响应于第一情况，所述数据分析组件对所述文本语料进行分词处理，得到所述文本语料对应的词序列；所述第一情况表征所述标题语料和所述内容语料均与所述分布式存储系统已存语料不重复，所述文本语料为所述数据分析组件依次基于第一标识和第二标识确定的、符合所述第一情况的语料；其中，所述第一标识是所述标题语料对应的哈希值，所述第二标识是所述内容语料对应的哈希值； 响应于不同于所述第一情况的其它情况，所述数据分析组件丢弃所述文本语料； 对所述词序列进行信息提取处理，得到所述词序列中每个词对应的特征信息和权重信息，所述权重信息根据所述词在所述词序列中的语义重要程度和位置重要程度确定； 对所述每个词对应的特征向量进行哈希散射，得到所述每个词对应的第一编码串，所述第一编码串为基于二进制数构成的数据串； 将所述第一编码串中的0值设定为预设负值，得到所述每个词对应的编码信息； 根据所述每个词对应的编码信息和对应的权重信息，得到所述每个词对应的加权编码信息； 对各个词对应的编码信息进行融合操作，得到所述文本语料对应的文本信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人腾讯科技(深圳)有限公司，其通讯地址为：518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。