完整、准确地描绘多媒体数据的内容的标签语义是多媒体数据分析的重要支撑技术，已有的标注方法难以客观、完整的描述媒体内容，无法满足大规模多媒体数据分析的应用需求。本成果提出了融合异构媒体进行联合语义标注的方法，可以大幅度提升标注性能，并具备规模化处理能力。成果包含以下三个方面：第一方面，提出了基于用户生成标签的多视角特征学习方法，利用媒体标签和其内容特征得到优化后的特征表示。通过媒体词汇和文本词汇的相关性建模，学习文本特征空间和内容特征空间的映射模型。给出了优化前后的特征表示具备近似等距映射保持的理论依据。该方法相对数据集规模具备线性时间复杂度，并具备多视角特征融合能力。此外，我们提出了一种多媒体同构空间构造方法。空间变换过程采用正交投影变换，通过非线性方式重构"多媒体-标签"相关性，并保证同构空间与内容特征空间和标签向量空间分别具备结构保持。数据集上的测试表明，所提出的方法取得了更好的标注性能。第二方面，我们提出了异构媒体融合空间构建方法，该方法能够共同学习出不同媒体类型的稀疏特征映射矩阵，使得不同媒体类型之间能够互相促进。此外，我们提出了一种语境信息传播和进化模型。构建初始标签语境相关图和图像内容相关图，将该问题描述为两个无向加权图上的损失函数最小化问题。采用数据分割，逐次优化和放松约束的策略，获得该问题的近似解。实验结果表明上述方法具备近似线性的时间复杂度。第三方面，我们提出了标签相关性保持方法。该方法给出了标签集对媒体相关性和标签集内部一致性的估计方法，进而采用贪心搜索策略获取近似最优解。该成果提供了对于视频、图像、音频等数据进行准确分析和检索的方法和手段，并为可视媒体分析与挖掘提供了有力的技术支撑。

东北石油大学

该项目为储备库项目资源，暂无效益分析内容。