论文部分内容阅读
互联网视频的爆炸性增长为用户提供了丰富的视频内容资源，对其进行分析处理并有效管理成为一种迫切需求。基于内容的视频拷贝检测是满足上述需求的基本手段。基于内容的视频拷贝检测在上世纪90年代末作为一种新的版权保护技术而被提出，其应用领域随着互联网视频应用的繁荣而不断拓展。虽然多媒体领域的研究者已经对其开展了较多的研究，但是现有的研究成果还只能应用在较小规模的视频库上，这已成为限制视频拷贝检测技术走向实用的主要障碍。为了提升现有视频拷贝检测算法对大规模视频库的可扩展性，本文通过对分布式高维索引的构建原理、查询算法以及基于分布式高维索引实现视频拷贝检测时面临的问题开展深入研究，取得了如下研究成果: 1.构建分布式高维索引的优化概率模型在大规模视频库上进行基于内容的拷贝检测，需要在海量的高维视觉特征集上建立高效的索引。将高维索引结构通过合理的方法分布到多个节点之上，可以从根本上突破现有技术在数据规模和处理能力这两个方面遇到的瓶颈。分布式局部敏感哈希提出了构建分布式高维索引的理论模型。但是现有模型需要在整个数据集上进行参数估计，造成了对负载分布预测不准且数据依赖性过强的问题。为了对现有模型进行优化，本文提出一种具有一致性输出分布的哈希函数，并基于此哈希函数推导出了准确度更高、适应性更强的概率模型。基于本文提出的概率模型，能够构建出负载更加均衡的分布式高维索引，而且能够降低对数据的依赖性，提高了对动态变化数据集的适应性。 2.分布式高维索引的优化查询算法利用分布式局部敏感哈希构建分布式高维索引虽然能够打破数据规模的瓶颈，但是查询性能和效率不高。一方面，局部敏感哈希自身的缺点限制了查询性能的提升;另一方面，每次查询都需要经过多次网络跳转，限制了查询效率的提升。为了提高分布式高维索引的查询性能和效率，本文提出一种数据分布自适应的多探测查询算法。在离线阶段，首先通过两级聚类对局部敏感哈希算法生成的初始空间划分进行优化，然后基于优化后的空间划分预生成多探测序列，并基于子空间对原始高维数据进行最优化的量化编码。在线查询时，使用离线预生成的多探测序列指导多探测查询过程。本文算法不仅提高了单表查询的召回率，有效减少了哈希表的使用量，而且降低了查询过程的计算复杂度和索引结构的空间复杂度。除此之外，本文算法由于可以离线预生成多探测序列，能够有效减少在线查询时对分布式处理节点的定位操作，从而减少网络跳转次数，提高了分布式查询的效率。 3.面向分布式高维索引的视频拷贝检测优化算法基于局部特征的视频拷贝检测算法能够应对多种复杂的拷贝变换，但是利用分布式高维索引实现基于局部特征的大规模视频拷贝检测时面临两方面的问题:首先，局部特征的数量过多造成分布式高维索引的节点数过多，使得完成一次分布式查询的网络开销过大;其次，每一视频帧的检测都要提交大量查询请求，每次查询又需要多次网络跳转，使得响应速度难以接受。本文提出一种关键局部特征点挖掘算法，用于识别对于拷贝检测最具区分性和鲁棒性的局部特征点。只用关键局部特征点来表征视频内容，大幅降低了特征数量，并提高了检测精度。在此基础上，通过分析关键局部特征点的尺度分布特点，对特征提取算法进行改进，有效减少在线查询请求次数。为了进一步提高检测效率，本文提出一种结合局部特征和全局特征的拷贝内容定位算法。在匹配的开始阶段，使用局部特征查询拷贝帧以保证召回率;在后续匹配过程中，利用从已匹配帧中计算得到的拷贝变换参数，使用全局特征进行匹配，以确定拷贝内容的具体位置。此算法进一步减少了在线查询请求次数。上述两种算法共同作用，提高了基于分布式高维索引进行视频拷贝检测的精度和速度。 本文以提升现有视频拷贝检测算法对大规模视频库的可扩展性为目标，通过对分布式高维索引的构建原理、查询算法以及面向分布式高维索引的视频拷贝检测优化算法这三个关键问题的深入研究，为实现大规模视频拷贝检测奠定了技术基础，具有广阔的应用前景。