买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏大学申请的专利一种面向视听事件定位的多模态可信语义通信的构建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119011087B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411225534.4，技术领域涉及：H04L1/00；该发明授权一种面向视听事件定位的多模态可信语义通信的构建方法是由李元第;向哲;周祥云设计研发完成，并于2024-09-03向国家知识产权局提交的专利申请。

本一种面向视听事件定位的多模态可信语义通信的构建方法在说明书摘要公布了：本发明涉及通信技术，特别涉及一种面向视听事件定位的多模态可信语义通信的构建方法，旨在提高音频‑视觉事件AVE定位任务的安全性和可靠性。本发明通过先进的语义编码和信道编码技术，有效保护数据在传输过程中的完整性和隐私。通过模拟真实世界的信道条件和采用Reed‑Solomon编码以及AES加密技术，显著提高了数据传输的准确性和可靠性。

本发明授权一种面向视听事件定位的多模态可信语义通信的构建方法在权利要求书中公布了：1.一种面向视听事件定位的多模态可信语义通信的构建方法，其特征在于，包括以下步骤： S1：通过视听传感器获取相同时间区间的视听感知数据，一个用户持有视频数据，一个用户持有音频数据； S2：将视频和音频时间序列S分割成T个非重叠但连续的片段；分别表示为视频片段序列和音频片段序列每个片段的持续时间为一秒钟，其中t为时间片段，范围从1至T，T为常数表示，Vt代表在时间片段t内的视频数据，at代表在时间片段t内的音频数据； S3：实现两个用户间语义通信的跨模态的音频引导的视觉注意力机制，实现音频指导下的视觉注意力； S4：分别对两个用户各自持有的连续同步视听片段中的视频片段和对应时间区间的音频片段进行可信信道编码； S5：实数到复数转换模块，将特征张量转换为复数表示，以应对模拟信道中数据传输的复杂性； S6：利用chan_layer解决通信生态系统中的语义信息失真问题，所述语义信息失真问题包括加性白高斯噪声、瑞利衰落和莱斯衰落； S7：借助复数域变换和信道估计方法计算信道矩阵，实现信号恢复； S8:接收器模型对通过信道传播的信号进行解码和解密，为最终的分类或预测任务做准备； S9:计算跨模态相似性并预测事件类别，进行定位； 所述S3中视觉注意力机制包括： S3.1将步骤S2中的Vt和at使用VGG-19网络分别提取初始视觉特征V、初始音频特征A作为初始向量，在整个时间序列上的特征表示为音频特征Sa和视觉特征 S3.2通过物理通道将音频从持有音频用户传输到持有视频用户，并利用音频语义编码器进行编码: 其中Asingle为输出的结果，即经过增强处理后得到的单个音频片段；为音频特征，是处理音频特征的函数，对信号进行增强,Θa,1表示可训练参数，它由一个带有C通道和7个核大小的一维卷积组成，有B个卷积块； 每个块都包括一个残差单元和一个带有步长卷积的下采样层，其中核大小Ks是步长S的两倍，残差单元有两个卷积，内核大小为3和一个跳跃连接； S3.3将经过处理后得到的所有音频片段整合得到整合过程如下； 其中，DownSampleKs,S为函数，表示下采样，Ks为核大小，指下采样过程中使用的卷积核的尺寸；S为步长，指下采样过程中移动卷积核的步长，Blocki是经过一系列操作之后的第i个块，ResUnit为一个残差单元包含几个卷积层，并且有一个跳跃连接以保留原始输入的信息； S3.4持有视频的用户，接收到的音频特征在单模态面向任务的解码阶段被准确恢复；将此恢复的特征用于跨模态语义编码器中，以增强视觉特征，跨模态视觉语义编码器定义为: 其中是Θv编码器的可训练参数，是视觉特征，是处理视觉特征的函数，对信号进行增强； S3.5计算注意力权重αt: 其中σ为sigmoid函数,Mv、Ma为视觉和音频特征投影到共享的空间所得到的投影特征，Wf是可训练的参数，为t时刻的音频特征的音频特征片段，vt为t时刻的视觉特征V的视频特征片段； S3.6使用注意力权重αt对接收到的音频特征和视觉特征加权得到加权视觉特征

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏大学，其通讯地址为：212013 江苏省镇江市京口区学府路301号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。