买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京百度网讯科技有限公司申请的专利用于阅读任务的预训练模型训练方法、装置及其电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114241496B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111350551.7，技术领域涉及：G06F30/27；该发明授权用于阅读任务的预训练模型训练方法、装置及其电子设备是由罗斌;彭启明;曹宇慧;冯仕堃设计研发完成，并于2021-11-15向国家知识产权局提交的专利申请。

本用于阅读任务的预训练模型训练方法、装置及其电子设备在说明书摘要公布了：本申请公开了用于阅读任务的预训练模型训练方法、装置及其电子设备，涉及自然语言处理和深度学习技术等人工智能领域。具体实现方案为：对电子文档进行布局解析，得到电子文档的布局信息,根据布局信息，确定电子文档中各个文本片段间的第一阅读顺序,按照布局信息将电子文档的字符信息输入至预训练模型，预测各个文本片段间的第二阅读顺序,基于预设损失函数，根据第一阅读顺序和第二阅读顺序计算损失值，基于损失值训练预训练模型。本申请可以使得预训练模型学到文档阅读顺序的蕴含关系，进而可以利用预训练模型进行文档阅读顺序预测时，提高预测结果准确度。

本发明授权用于阅读任务的预训练模型训练方法、装置及其电子设备在权利要求书中公布了：1.一种用于阅读任务的预训练模型训练方法，包括： 对电子文档进行布局解析，得到所述电子文档的布局信息； 根据所述布局信息，确定所述电子文档中各个文本片段间的第一阅读顺序； 按照所述布局信息将所述电子文档的字符信息输入至预训练模型，预测所述各个文本片段间的第二阅读顺序； 基于预设损失函数，根据所述第一阅读顺序和所述第二阅读顺序计算损失值，基于所述损失值训练所述预训练模型； 其中，所述预训练模型包括转换模块和自注意力模块；所述按照所述布局信息将所述电子文档的字符信息输入至预训练模型，预测所述各个文本片段间的第二阅读顺序，包括： 按照所述布局信息将所述电子文档的字符信息输入至所述转换模块，得到所述电子文档中字符的表示信息； 根据字符的表示信息，生成所述各个文本片段各自的表示信息； 将所述各个文本片段各自的表示信息输入至所述自注意力模块，得到所述各个文本片段间的关联关系，其中，所述注意力模块根据所述文本片段各自的向量表示信息计算每个文本片段相对于其它片段的权重，从而得到所述各个文本片段间的关联关系； 根据所述关联关系，预测所述各个文本片段间的第二阅读顺序。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京百度网讯科技有限公司，其通讯地址为：100085 北京市海淀区上地十街10号百度大厦二层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。