买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京面壁智能科技有限责任公司申请的专利一种模型训练样本处理方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118153719B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410494957.X，技术领域涉及：G06N20/00；该发明授权一种模型训练样本处理方法、装置、电子设备及存储介质是由蔡杰;曾国洋设计研发完成，并于2024-04-23向国家知识产权局提交的专利申请。

本一种模型训练样本处理方法、装置、电子设备及存储介质在说明书摘要公布了：本发明实施例公开一种模型训练样本的处理方法、装置、电子设备及存储介质，涉及人工智能技术领域。便于解决传统填充方式带来的计算资源浪费问题。包括：从样本池中选取待拼接样本数据；将所述待拼接样本数据与当前训练批次内的至少一个样本数据，按照预定数据长度进行拼接，形成一个组合样本；将所述组合样本中的每一个用于拼接的样本数据，分配一个唯一的文本序列ID；其中，所述文本序列ID用于标识所述用于拼接的样本数据在组合样本中的位置和范围；将该组合样本作为一个新的样本数据加入到当前训练批次内，用于模型训练。本发明适用于模型训练场景中。

本发明授权一种模型训练样本处理方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种模型训练样本的处理方法，其特征在于，包括： 从样本池中选取待拼接样本数据； 将所述待拼接样本数据与当前训练批次内的至少一个样本数据，按照预定数据长度进行拼接，形成一个组合样本； 将所述组合样本中的每一个用于拼接的样本数据，分配一个唯一的文本序列ID；其中，所述文本序列ID用于标识所述用于拼接的样本数据在组合样本中的位置和范围； 将该组合样本作为一个新的样本数据加入到当前训练批次内，用于模型训练； 所述预定数据长度为当前训练批次内数据长度最长的样本的长度； 所述将所述待拼接样本数据与当前训练批次内的至少一个样本数据，按照预定数据长度进行拼接，形成一个组合样本包括：将所述待拼接样本数据与当前训练批次内的样本数据逐一进行拼接，形成一个组合样本，直到该组合样本的长度达到或接近所述当前训练批次内数据长度最长的样本的长度为止； 所述将所述待拼接样本数据与当前训练批次内的至少一个样本数据，按照预定数据长度进行拼接，形成一个组合样本，包括： 将所述待拼接样本数据和所述至少一个样本数据进行水平拼接，形成一个一维特征向量； 将所述一维特征向量按照所述预定数据长度进行截断或拼接，以使所述一维特征向量长度符合预定数据长度； 将所述截断或拼接后的特征向量作为所述组合样本的特征向量； 所述方法还包括：在训练过程中，将组合样本中的每个样本数据的文本序列ID作为输入特征传递给注意力机制； 在计算注意力权重时将注意力限制在当前组合样本或跨度内； 利用掩码区分当前批次内不同样本之间的损失计算；其中，掩码用于与目标数字进行按位操作，以屏蔽指定位； 为每个样本的损失计算创建掩码，以确保当前批次内的样本之间不会相互影响； 将不同样本之间的损失置为零，得到掩码后的损失矩阵； 所述掩码包括：文本序列掩码和填充掩码； 所述将组合样本中的每个样本数据的文本序列ID作为输入特征传递给注意力机制，包括： 在训练过程中，将当前训练批次内的每个样本的特征向量和文本ID作为输入，传递给编码器和解码器；其中，所述编码器和解码器采用基于自注意力的多头注意力机制，用于捕捉输入和输出之间的依赖关系； 所述在计算注意力权重时将注意力限制在当前组合样本或跨度内，包括： 在编码器和解码器的每个注意力层中，根据文本序列ID生成文本序列掩码，所述文本序列掩码用于限制注意力的范围；其中，文本序列掩码是一个二维矩阵，其大小为n×n； 在计算注意力权重时，利用所述文本序列掩码将不属于同一个样本数据的位置的权重降低到接近于零，以使注意力只关注当前组合样本或跨度内的信息； 以及，利用所述填充掩码屏蔽组合样本中的填充位置，使所述填充掩码不参与注意力计算； 所述掩码还包括：前瞻掩码；所述前瞻掩码用于在计算注意力权重时，将不能进行注意力计算的位置的权重降低到接近于零，从而使注意力只关注有效的位置； 所述在计算注意力权重时将注意力限制在当前组合样本或跨度内，还包括： 在编码器和解码器的每个注意力层中，将文本序列掩码、填充掩码和前瞻掩码相加，得到一个总掩码，用于最终的注意力计算；其中，总掩码是一个二维矩阵，其大小为n×n，其中n是组合样本的长度； 在编码器和解码器的每个注意力层中，根据总掩码计算注意力权重，根据注意力权重计算注意力输出；其中，所述注意力权重是一个二维矩阵，其大小为n×n，其中n是组合样本的长度； 注意力权重的计算公式为：； 其中，Q表示查询矩阵，K表示键矩阵，V值矩阵，它们都是由组合样本的特征向量经过线性变换得到的；dk表示键的维度，M表示总掩码；注意力输出是一个二维矩阵，其大小为n×dv，其中n是组合样本的长度，dv表示值的维度；注意力输出的每个元素表示组合样本中的一个位置的表示，它是由注意力权重加权的值矩阵的元素之和。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京面壁智能科技有限责任公司，其通讯地址为：100080 北京市海淀区中关村东路1号院6号楼6层601；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。