买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国石油大学(华东)申请的专利一种基于Transformer的跨序列多行为序列推荐方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119988753B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510056330.0，技术领域涉及：G06F16/9536；该发明授权一种基于Transformer的跨序列多行为序列推荐方法是由张红霞;陈鹏宇;高宁;郑建海;刘文奇设计研发完成，并于2025-01-14向国家知识产权局提交的专利申请。

本一种基于Transformer的跨序列多行为序列推荐方法在说明书摘要公布了：本发明公开了一种基于Transformer的跨序列多行为序列推荐方法。该方法为：首先分割用户历史交互序列然后执行跨序列异构关系传播；接着进行短期交互模式学习；接下来进行全局表征聚合；最后联合用户近期偏好与项目嵌入生成推荐内容列表，同时考虑内容优先级，通过利用用户历史交互进行标签数据增强调整模型参数。本发明提出了一种用户序列分割方法，保证子序列保持了用户相对集中和稳定的偏好，使得模型能够更精准的捕捉用户动态变化的偏好，提出了一种相似子序列的判定机制和相似子序列之间执行跨序列信息传播的方法，并在信息传播过程中保留时间编码信息，提升了推荐内容的多样性和准确性。

本发明授权一种基于Transformer的跨序列多行为序列推荐方法在权利要求书中公布了：1.一种基于Transformer的跨序列多行为序列推荐方法，其特征在于，包括以下步骤： 步骤1、分割用户历史交互序列； 步骤2、跨序列异构关系传播； 步骤3、短期交互模式学习； 步骤4、全局表征聚合； 步骤5、联合用户近期偏好与项目嵌入生成推荐内容列表，同时考虑内容优先级，通过利用用户历史交互进行标签数据增强调整模型参数； 根据步骤1所述的分割用户历史交互序列，其特征在于： 用户集合U＝{u1,…,ui,…,uI}，项目集V＝{v1,…,vj,…vJ}，多种交互行为类型定义为集合B包含所有可能出现的行为类型，其中I，J∈Z分别表示用户和项目数量； 每个用户的历史交互被记录为一个多行为交互记录，对于一个用户ui∈U，其历史交互信息定义为三元组vi,x，bi,x，ti,x，代表用户ui在x时刻以bi,x类型行为交互的第x个项目，构成用户ui的多行为交互记录，表示为Si＝{vi,1，bi,1，ti,1，…，vi,x，bi,x，ti,x，…，vi,X，bi,X，ti,X}，其中X表示序列长度|Si|； 通过Seg·操作分割用户的交互序列得到多个子序列，对于给定用户ui和其交互序列Si，Seg·操作表达为： 其中P表示分割出的用户子序列个数，btarget表示目标行为，和分别表示ui第一个和最后一个子序列的长度，表示子序列最大长度； 如果用户没有做出过目标行为，则以最大子序列长度分割用户的历史交互序列； 全局视图下，所有用户分割出的交互子序列中，如果最后一项是以目标行为交互的相同项目，则认定两个子序列是相似的；给定用户ui的第k个子序列用户ui′的子序列若有则序列与序列相似，记为每个子序列有多个相似子序列； 步骤2所述的跨序列异构关系传播，具体如下： 设计一个嵌入网络，将行为类型信息和时间信号作为上下文信息联合融入项目的特征表示，项目的初始嵌入ej∈Rd由项目集合V嵌入同一个空间生成的项目嵌入矩阵M∈R|I|×d得到，与项目id相关，其中d表示潜在状态维度；eb∈Rd与用户行为类型相关联，表示第b种类型行为嵌入； 在上下文信息编码层引入了时间编码策略，即利用公式将标量时间戳映射到向量空间： 其中τ·表示将时间戳映射为2d维向量的函数，Wt∈R2d×d表示时间变换矩阵，2d维向量的奇数和偶数索引由2l和2l+1表示；使用作为比例因子，Wt矩阵引入可调线性投影机制； 通过如下操作将行为类型表示和时间上下文信息联合注入项目表示中： 其中表示融入上下文信息的项目嵌入，作为跨序列信息传递组件的输入，表示向量元素对应相加操作； 设计了建立在Transformer架构上、基于多头表示空间下注意力机制的跨序列信息传播编码器； 通过如公式所示的多头点积注意力方式计算序列中第x个交互项的嵌入： 其中表示经过跨序列信息聚合后计算得到的用户ui第k个子序列下第x个交互项的细化表征，Y表示项目的相关项集合，Ey表示相关项的嵌入表示，αx,y表示学习到的项目和vy之间的相关性系数，σ·表示softmax函数，h∈H表示注意力层的第h个头，分别表示第h个头的Query，Key和Value转换矩阵，并将查询与值向量的得分除以以稳定梯度； 步骤3所述的短期交互模式学习，具体如下： 设计了行为感知编码器，用来聚合短期内特定类型的行为模式；对于给定用户ui与序列ui在对应短期内第b种类型的行为模式表示为： 其中表示聚合计算出ui在时期下b行为的特征表示，ρ·是定义的判断函数，如果两个输入项相等，则其结果为1，否则为0，是跨序列异构关系传播模块输出的项目细化嵌入表示，Wb是行为感知转换矩阵，用于增强特定类型的行为语义，其优化路径基于公式所示的多通道参数学习策略： 其中M表示通道数，P∈RM×d和μ∈RM分别表示全连接层中的转换矩阵和偏置参数，表示对应第m个通道的变换矩阵； 在得到特定行为类型的嵌入表示后，需要将短期行为类型编码馈送到聚合层，以捕捉不同类型行为间潜在的相互依赖关系，得到用户的短期特征表示；使用自适应注意网络来计算每种行为类型对短期表征的贡献指数，聚合层操作形式化为： 其中是用户ui第k个子序列的特征表示，也就是ui在对应时期内的短期偏好编码，βi,b表示以所有行为嵌入总和作为Query学习到的ui对应b行为的注意权重，WA和μA分别是聚合层的变换矩阵和偏置； 对于用户到项目侧的消息传递过程，将项目的嵌入编码也执行上述的传播和聚合过程： 其中和Ej分别表示项目vj特定行为类型嵌入和融合行为感知嵌入； 步骤4所述的全局表征聚合，具体如下： 设计了全局图关系编码器，用于将用户各个时期的嵌入表示注入全局特征表示，从长期和短期的角度捕捉用户的多行为动态模式；定义了一个全局用户图来包含所有用户节点ui∈U和他们的交互子序列节点即G＝{U,S,ε}，其中S和ε分别表示全部用户子序列的集合和连接每个用户ui与他的交互子序列节点的边，全局表征聚合模块在全局用户图G上执行图结构信息聚合来生成用户的全局嵌入表示，并在信息聚合过程中融入时间上下文信息，使得不同时期的短期表示以可区分的方式相互作用，计算过程为： 其中表示用户ui的全局特征表示，σ·表示softmax激活函数，ηk表示学习到的用户ui与其第k个子序列的注意力权重，是上下文信息编码层返回的时间编码，对应序列中最后一个项目的交互发生时间； 模型执行信息聚合并编码了用户短期的交互行为模式和长期动态用户嵌入表示，在嵌入传播过程中，模型以用户‑项目交互图和全局用户图G作为计算图，期间，来自邻域的局部关系特征将被聚合以获得上下文表示，这样的消息传递范例通过合并高阶连接性来概括为： 其中和分别是编码层初始化的项目和用户嵌入；通过扩展L层图关系编码器，提高模型捕捉高阶邻居协作信号的能力；通过L层嵌入元素对应相加操作得到最终的用户项目和子序列特征表示，其过程公式化为： 步骤5所述的联合用户近期偏好与项目嵌入生成推荐内容列表，同时考虑内容优先级，通过利用用户历史交互进行标签数据增强调整模型参数，具体如下： 在模型的预测层，联合利用用户最后阶段的短期特征表示与项目特征表示Ej对用户未来可能的交互项目进行预测，用户ui和项目vj即将产生交互的可能性被量化为其中是参数向量，表示逐元素相乘操作，在训练阶段，参数调整过程是通过利用用户历史交互进行标签数据增强来优化，因此ui和vj在所对应时期内的预测分数计算为：模型训练的目标函数与边际成对损失形式化为： 其中I和Ki分别表示用户数量和用户ui拥有的交互子序列数量，C表示采样数量，pc和nc分别表示对应的正样品和负样品，还进一步引入权重衰减正则化项来缓解过拟合现象。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国石油大学(华东)，其通讯地址为：266580 山东省青岛市黄岛区长江西路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。