买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学;南京鼓楼医院申请的专利基于伪单词序列生成的病例分类的零样本蒸馏系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116011559B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211525438.2，技术领域涉及：G06N3/096；该发明授权基于伪单词序列生成的病例分类的零样本蒸馏系统及方法是由陈晟;蒋智威;杜娟;顾庆设计研发完成，并于2022-11-30向国家知识产权局提交的专利申请。

本基于伪单词序列生成的病例分类的零样本蒸馏系统及方法在说明书摘要公布了：本发明公开了基于伪单词序列生成的病例分类的零样本蒸馏系统及方法，包括：模型分离模块，将教师模型分割成词嵌入层和剩余的编码层；多元正态分布生成模块，利用训练好的教师模型的网络权重计算多元正态分布系数；伪样本生成模块，利用生成的多元正态分布、分割后的教师模型编码层和教师模型词嵌入层生成词嵌入向量样本；蒸馏模块，利用生成的词嵌入向量生成样本，进行知识蒸馏，从而将教师模型的知识转移到学生模型中。本发明能够让使得没有真实数据的情境下，可以通过已经训练好的模型转移其知识给新的轻量化模型，并且直接生成词嵌入向量样本，并用其执行蒸馏过程，保证了伪样本生成和蒸馏的有效性，可以在没有数据的现实情况下蒸馏得到适用于同一领域数据预测的轻量化新模型。

本发明授权基于伪单词序列生成的病例分类的零样本蒸馏系统及方法在权利要求书中公布了：1.基于伪单词序列生成的病例分类的零样本蒸馏系统及方法，其特征在于，包括：模型分离模块；多元正态分布生成模块；伪样本生成模块；蒸馏模块； 所述模型分离模块，将教师模型分割成词嵌入层和剩余的编码层，并对公开病例数据集进行分句处理； 所述多元正态分布生成模块包括：多元正态分布系数计算模块、模拟标签分布采样计算模块； 所述多元正态分布系数计算模块，根据训练好的教师模型的pooler层权重计算多元正态分布的相关系数矩阵，并且设置多元正态分布方差矩阵为对角线矩阵，计算得到协方差矩阵，计算类多元正态分布系数，得到对应的多元正态分布； 所述模拟标签分布采样模块，对得到的多元正态分布进行随机采样，并且对采样得到的样本进行softmax计算； 所述伪样本生成模块包括：伪样本标签生成模块、多元正态分布采样监督优化模块； 所述伪样本标签分布生成模块，从设定的最小值和设定的最大值之间进行均匀分布采样，用得到的样本代替Bert词表中的单词索引输入到教师模型的词嵌入层得到词嵌入向量，再将其输入到教师模型中得到伪样本标签分布； 所述多元正态分布采样监督优化模块，将多元正态分布采样做伪样本标签分布的监督信息，优化教师模型分割出来的词嵌入层，直到得到符合要求的词嵌入向量，并且重新初始化词嵌入层； 所述蒸馏模块包括：词嵌入空间一致性训练模块、知识转移模块； 所述词嵌入空间一致性训练模块，将教师模型词嵌入向量与学生模型词嵌入向量经过线性层转换后处于同一空间内； 所述知识转移模块，将生成的词嵌入向量分别输入教师模型，以及学生模型的线性层，转化为设定维度的词嵌入向量，得到教师模型和学生模型输出的标签分布，将其对齐，从而把教师模型的知识迁移到轻量化的学生模型当中； 所述伪样本标签分布生成模块将随机生成的均匀分布整数代替Bert词表中的单词索引X输入到教师模型的词嵌入层Femb得到词嵌入向量，再将其输入到教师模型的编码层FecθT中得到伪样本标签分布，其中θT为教师模型参数，公式表达如下： Y＝FecFembX,θT。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学;南京鼓楼医院，其通讯地址为：210023 江苏省南京市鼓楼区汉口路22号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。