买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利一种去负样本的无监督句子表征学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116596031B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310581403.9，技术领域涉及：G06N3/045；该发明授权一种去负样本的无监督句子表征学习方法是由孙玉灵;陈少斌设计研发完成，并于2023-05-23向国家知识产权局提交的专利申请。

本一种去负样本的无监督句子表征学习方法在说明书摘要公布了：本发明公开了一种去负样本的无监督句子表征学习方法，其特点是采用预测任务过滤预训练数据集中的冗余信息的方法，提升SiamCSE模型性能，将句子中随机挑选的单词进行重复，然后将其传入编码器，得到既不损失句子中的语义信息，同时在长度上也不尽相同的正样本，实现去负样本的句子表征学习，具体包括：设置多层感知机的映射层、目标函数约束中间隐藏向量的相似性、预测任务去除冗余信息、互相关矩阵及去相关矩阵的生成和模型训练等步骤。本发明与现有技术相比具有在句子表征学习任务上表现性能优异，填补了目前句子表征模型的不足，完善了去负样本句子表征学习模型的评估方案，帮助推动去负样本句子表征学习模型在现实中的普适性应用。

本发明授权一种去负样本的无监督句子表征学习方法在权利要求书中公布了：1.一种去负样本的无监督句子表征学习方法，包括SiamCSE模型，其特征在于，采用预测任务过滤预训练数据集中的冗余信息的方法，提升SiamCSE模型性能，将句子中随机挑选的单词进行重复，然后将其传入编码器，得到既不损失句子中的语义信息，同时在长度上也不尽相同的正样本，实现去负样本的句子表征学习，具体包括以下步骤： 1设置基于多层感知机的映射层 将同一个输入x以不同的暂退值plarge和psmall输入编码器，其输出经多层感知机的映射，得到上、下分支的中间隐藏向量z1和z2； 2使用目标函数LC约束中间隐藏向量z1和z2之间的相似性 使用下述a式定义的目标函数LC约束中间隐藏向量z1和z2之间的相似性： 其中，D为下述b式定义的的负cosine相似性： 其中，||·||2为L2范数； 3基于中间隐藏向量z1和z2预测任务去除冗余信息 使用隐藏向量z1预测下分支的中间隐藏向量z2，其优化的目标函数LP由下述c式表示为： 4基于映射函数的互相关矩阵生成 使用SiamCSE将多层感知机的输出向量由下述d式映射到更高维度的空间P： p＝Hzd； 其中，p代表将z映射到空间P之后得到的向量；H为映射函数； 所述映射函数H由三层线性层所组成，每层包含4096个神经元，以ReLU作为激活函数，并在每层之间使用BatchNorm； 所述空间P上模型将上、下分支的中间隐藏向量z1和z2由下述e式表示的元素Cij为互相关矩阵： 其中，b为样本的索引号；i、j分别为神经网络输出向量的不同维度；C是一个元素值介于-1与1之间的方阵； 5生成去相关矩阵 使用下述f式表示的目标函数LD优化互相关矩阵为去相关矩阵： 所述去相关矩阵对角元素趋近于1，而非对角元素则趋近于零； 6基于目标函数Ltotal的模型训练 将LC、LP和LD三个目标函数结合在一起，作为总的目标函数Ltotal训练SiamCSE模型，获取有效的句子表示，实现去负样本的句子表征学习，所述总的目标函数Ltotal由下述g式表示为： Ltotal＝LC+αLP+βLDg； 其中，α和β为超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。