买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉麦博(南京)智能科技有限公司申请的专利用于ICD编码的改进型BERT模型构建方法及ICD编码方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116957000B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310209012.4，技术领域涉及：G06N3/0455；该发明授权用于ICD编码的改进型BERT模型构建方法及ICD编码方法是由请求不公布姓名设计研发完成，并于2023-03-01向国家知识产权局提交的专利申请。

本用于ICD编码的改进型BERT模型构建方法及ICD编码方法在说明书摘要公布了：本发明公开了一种用于ICD编码的改进型BERT模型构建方法及ICD编码方法；模型构建步骤为：SA1：从病案数据库抽取病案信息得到初始训练数据；SA2：数据处理得到编码模型训练数据；SB1：基于病案数据库病人病案或者电子病案，采用C‑TF‑IDF技术挖掘病案关键词，并结合病人病案内容设定bert模型预训练任务，构建医疗领域的预训练BERT模型；S2：编码模型训练数据加载预训练BERT模型中，得到改进型BERT模型。ICD编码步骤为：获取输入数据并序列化、向量化后输入到改进型BERT模型。有益效果：相比一般BERT模型编码，编码准确度得到更进一步地提升。

本发明授权用于ICD编码的改进型BERT模型构建方法及ICD编码方法在权利要求书中公布了：1.一种用于ICD编码的改进型BERT模型构建方法，其特征在于：按照以下步骤进行： SA1：从病案数据库抽取病案信息得到初始训练数据； SA2：对初始训练数据进行数据处理，得到编码模型训练数据； SB1：基于病案数据库病人病案或者电子病案，采用C-TF-IDF技术挖掘病案关键词，并结合病人病案内容设定bert模型预训练任务，构建医疗领域的预训练BERT模型； S2：将步骤SA2中获取到的编码模型训练数据加载到步骤SB1得到的预训练BERT模型中，并引入先验医学知识编码的期望分布，设置约束特征，通过正则化方法进行训练，得到改进型BERT模型； 步骤S2的具体内容为： S21：将步骤SA2得到的编码模型训练数据，输入到步骤SB1得到的预训练BERT模型，得多特征输入矩阵； H＝{H1,H2…,HT,HT+1}＝Bert_Encodert1,t2…,tT,X 其中，Bert_Encoder.为预训练BERT模型的编码器结构； S22：所述预训练BERT模型的编码器结构上增加一个多层感知机，则在归一化指数函数层softmax即可得到ICD编码的预测概率分布； 则预测的编码概率分布由后验概率分布表示为：Pyp|Xp,θ； 为预测的编码概率分布； yp为真实的编码概率分布； S23：根据最大似然交叉熵损失函数得到初始BERT模型目标函数； 预测的编码概率分布和真实值yp之间的交叉熵平均值为： 是ICD编码的个数； 该交叉熵平均值即为所求初始BERT模型目标函数； S24：整合医学知识融入到初始BERT模型目标函数中，设置先验知识的约束特征集合引入一个期望分布，该期望分布中医学特征都被描述为期望值；其中： qy为先验分布； φx,y是特征函数； b是特征的期望的约束边界； S25：将ICD编码后验分布Pyp|Xp,θ和医学上的先验分布qy的KL散度作为目标函数的正则项，即： 其中，α是一个超参数；是ICD编码的个数；KL散度用于测量期望分布和预测值之间差异的KullbackLeibler散度； 为先验知识； 为目标函数； S26：用约束集合表示的先验知识替换为对数线性模型表示的先验分布qy； 其中，先验知识采用对数线性模型表示为： 其中，Γ为权重参数，是根据先验医学知识不同的约束特征类别得到的可学习置信矩阵； 则目标函数表示为： S27：再引入逻辑函数来模拟病人属性对ICD编码影响，得到使用多层感知机模型学习先验医学知识编码的期望分布 为ICD编码和病人属性之间的参数集； 则得到最终的改进型BERT模型：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人麦博(南京)智能科技有限公司，其通讯地址为：210004 江苏省南京市秦淮区永智路5号南京白下高新技术产业园区五号楼F108-41室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。