买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利具有图像子图数量适应性的模因图配文生成方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117708318B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311856147.6，技术领域涉及：G06F16/34；该发明授权具有图像子图数量适应性的模因图配文生成方法及装置是由陈昱妍;肖仰华;李直旭;郭放设计研发完成，并于2023-12-29向国家知识产权局提交的专利申请。

本具有图像子图数量适应性的模因图配文生成方法及装置在说明书摘要公布了：本发明提供了一种具有图像子图数量适应性的模因图配文生成方法及装置，具有这样的特征，包括：步骤S1，根据现有的多个模因图构建中文模因数据集，中文模因数据集包括多个图片和配文；步骤S2，根据中文模因数据集对现有的大语言模型进行训练，得到最终大语言模型和强化学习模型；步骤S3，将指定图像输入现有的多模态大模型，得到指定幽默链和指定图像特征；步骤S4，将指定幽默链和指定图像特征输入最终大语言模型，得到初始配文；步骤S5，将初始配文输入强化学习模型，得到最终配文。总之，本方法能够生成更匹配模因图的幽默配文。

本发明授权具有图像子图数量适应性的模因图配文生成方法及装置在权利要求书中公布了：1.一种具有图像子图数量适应性的模因图配文生成方法，用于对指定图像生成对应的最终配文，其特征在于，包括以下步骤： 步骤S1，根据现有的多个模因图构建中文模因数据集，所述中文模因数据集包括多个图片和配文； 步骤S2，根据所述中文模因数据集对现有的大语言模型进行训练，得到最终大语言模型和强化学习模型； 步骤S3，将所述指定图像输入现有的多模态大模型，得到指定幽默链和指定图像特征； 步骤S4，将所述指定幽默链和所述指定图像特征输入所述最终大语言模型，得到初始配文； 步骤S5，将所述初始配文输入所述强化学习模型，得到所述最终配文， 其中，所述步骤S2包括以下子步骤： 步骤S2-1，根据所述多模态大模型，得到所述中文模因数据集中各个图片对应的幽默链和图像特征； 步骤S2-2，根据所述幽默链和所述图像特征对所述大语言模型进行有监督微调，计算得到有监督微调损失； 步骤S2-3，将所述中文模因数据集中的各个配文分别输入所述大语言模型，得到对应的文本特征； 步骤S2-4，根据所述文本特征和所述图像特征进行自适应转换和注意力机制加强，计算得到先验损失； 其中，在所述步骤S2-4中，所述先验损失的计算公式为： 式中和为所述先验损失，SSFT为所述大语言模型预测的图像与配文之间的相似度，SI为基于先前知识计算出的图像与配文之间的相似度，为通过监督微调得到的图片I的第i个图像区域和图片I配文的第j个分词之间的相似度分数，为基于先前知识计算出的图片I的第i个图像区域和图片I配文的第j个分词之间的相似度即分词级注意力，λg和λt为可训练的权重，KL为KL散度， 所述分词级注意力的计算表达式为： 式中和均为可训练的权重矩阵，和均为相应的偏置项，为图片I的第i个图像区域对应的图像特征，TI为图片I对应的配文的第j个分词对应的文本特征，WQ和WK分别为自注意力机制中的查询的权重矩阵和键的权重矩阵，dk为键向量的维数，为归一化前的注意力得分，SI,j为图片I的全局注意力，N为图片I中子图像的数量； 步骤S2-5，根据所述先验损失和所述有监督微调损失计算得到有监督学习总损失； 步骤S2-6，根据所述有监督学习总损失更新所述大语言模型，得到训练好的大语言模型作为所述最终大语言模型； 步骤S2-7，将所述中文模因数据集中各个图片对应的幽默链和指定图像特征分别输入所述最终大语言模型，得到对应的训练配文； 步骤S2-8，根据所有所述训练配文和所述配文构建得到奖励模型； 步骤S2-9，根据所述奖励模型和所有所述训练配文对所述最终大语言模型进行强化学习，得到所述强化学习模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。