谷歌有限责任公司T.M.梁获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉谷歌有限责任公司申请的专利语言任务的对比预训练获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114514540B 。
龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202080067604.1，技术领域涉及：G06N3/0895；该发明授权语言任务的对比预训练是由T.M.梁;Q.V.勒;K.S.克拉克设计研发完成，并于2020-09-21向国家知识产权局提交的专利申请。
本语言任务的对比预训练在说明书摘要公布了：提供了通过对比学习任务的使用来训练机器学习语言编码模型的系统和方法。特别地，本公开描述了对比学习任务，其中编码器学习将输入词元与看似合理的替代物区分开。在一些实现中，在每个训练示例上，所提出的方法掩蔽掉原始输入词元的部分子集例如，15％，用来自“生成器”例如，其可以是小型掩蔽语言模型的样本来替换掩蔽的词元，并然后训练编码器来预测每个词元是来自原始数据还是由生成器产生的替换。
本发明授权语言任务的对比预训练在权利要求书中公布了：1.一种训练机器学习语言编码器模型的计算机实现的方法，所述方法包括： 对于一次或多次训练迭代中的每一个： 由包括一个或多个计算设备的计算系统获得包括多个原始输入词元的原始语言输入； 由所述计算系统选择所述多个原始输入词元中的一个或多个用作一个或多个掩蔽的词元； 由所述计算系统生成一个或多个替换词元，其中，所述一个或多个替换词元包括替代自然语言词元； 由所述计算系统用所述一个或多个替换词元分别替换所述原始语言输入中的所述一个或多个掩蔽的词元，以形成包括多个更新的输入词元的加噪的语言输入，所述多个更新的输入词元包括所述一个或多个替换词元和未被选择用作掩蔽的词元的原始输入词元的混合； 由所述计算系统用所述机器学习语言编码器模型处理所述加噪的语言输入，来产生包括在分别针对所述多个更新的输入词元的多个预测中的每个更新的输入词元的相应预测，其中，由所述机器学习语言编码器模型为每个更新的输入词元产生的所述预测预测这种更新的输入词元是所述原始输入词元之一还是所述替换词元之一；以及 由所述计算系统至少部分地基于损失函数来训练所述机器学习语言编码器模型，所述损失函数评估由所述机器学习语言编码器模型产生的相应多个预测。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人谷歌有限责任公司，其通讯地址为：美国加利福尼亚州；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励