深绎未来科技(广东横琴)有限公司林余楚获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉深绎未来科技(广东横琴)有限公司申请的专利一种多语言大模型训练方法、装置及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119476409B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411646993.X，技术领域涉及：G06N3/096；该发明授权一种多语言大模型训练方法、装置及相关设备是由林余楚;何浩坤;汪一鸣设计研发完成，并于2024-11-18向国家知识产权局提交的专利申请。
本一种多语言大模型训练方法、装置及相关设备在说明书摘要公布了：本发明公开了一种多语言大模型训练方法、装置及相关设备，所述方法包括：获取平行语料数据，并从中得到低资源语种的单语语料数据；将其与平行语料数据同步分别输入共享参数的自编码器和目标多语言大模型，目标多语言大模型包括知识迁移层，该知识迁移层用于增强不同语种中意义相近的语料的注意力；构建三元数据集并输入模型得到三元损失；利用三元损失对模型进行更新。采用本发明可以提高平行语料数据的利用效率，提升模型训练效率及输出质量，并在不影响多语言大模型的能力的基础上提高其对低资源语种的理解能力。
本发明授权一种多语言大模型训练方法、装置及相关设备在权利要求书中公布了：1.一种多语言大模型训练方法，其特征在于，所述方法包括： 获取平行语料数据，并从所述平行语料数据中抽离得到低资源语种的单语语料数据，所述平行语料数据包括高资源语种语料数据和低资源语种语料数据； 将所述低资源语种的单语语料数据和所述平行语料数据同步分别输入自编码器和目标多语言大模型，所述自编码器和所述目标多语言大模型的部分解码器层共享参数，所述目标多语言大模型包括知识迁移层，所述知识迁移层包括多头注意力层，所述多头注意力层用于将所述低资源语种语料数据的嵌入作为查询，高资源语种语料数据的嵌入作为键和值，计算每个头的注意力，将所有的头串联，并通过线性变换进行投影，得到合并后多头的注意力； 基于所述平行语料数据，构建三元数据集，所述三元数据集包括高资源语种正例、低资源语种正例和低资源语种反例； 将所述三元数据集输入所述目标多语言大模型，计算得到三元损失； 根据所述三元损失对所述目标多语言大模型进行更新，得到更新后的多语言大模型。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深绎未来科技(广东横琴)有限公司，其通讯地址为：519000 广东省珠海市横琴濠江路1566号1栋101科研B室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励