【摘 要】
：
随着社交媒体的快速发展,对于某一热点事件,网络中存在大量用户拍摄的与该事件相关的多摄像头视频数据。由于多摄像头视频拍摄时的时间点不同,要对其进行分析与挖掘,首先要做的就是将多摄像头视频进行全局时间线的对齐,实现多个视频按照其拍摄的时间先后播放,称为多摄像头视频时间同步。它是计算机视觉领域的关键问题,是三维重建、全景拼接、目标跟踪等任务的基础。但是由于目前社交媒体中用户拍摄的多摄像头视频内容复杂且视
论文部分内容阅读
随着社交媒体的快速发展,对于某一热点事件,网络中存在大量用户拍摄的与该事件相关的多摄像头视频数据。由于多摄像头视频拍摄时的时间点不同,要对其进行分析与挖掘,首先要做的就是将多摄像头视频进行全局时间线的对齐,实现多个视频按照其拍摄的时间先后播放,称为多摄像头视频时间同步。它是计算机视觉领域的关键问题,是三维重建、全景拼接、目标跟踪等任务的基础。但是由于目前社交媒体中用户拍摄的多摄像头视频内容复杂且视频质量参差不齐,导致现有的多摄像头视频时间同步方法面临很多挑战。目前的研究通过将音频模态的特征与视觉模态的特征进行有效的融合,从而在一定程度上提高多摄像头视频时间同步的准确性和鲁棒性。但是现有的基于音视频特征融合的多摄像头视频时间同步方法受限于音视频事件,对于内容复杂的多摄像头视频数据的时间同步准确率较低,而提高多摄像头视频时间同步准确率对于三维重建、全景拼接、目标跟踪等任务至关重要。本课题对社交媒体中的多摄像头视频时间同步方法进行研究,该研究课题依托于北京市教育委员会的科学研究与研究生培养共建的科研项目——基于社交感知的跨媒体数据分析与挖掘研究。针对目前多摄像头视频时间同步方法还存在的不足,以音视频特征融合为基础,对目前现有的多摄像头视频时间同步方法进行改进,提高多摄像头视频时间同步的准确性和鲁棒性。具体研究如下:（1）阐述了多摄像头视频时间同步的现状,并对现有的相关研究方法进行梳理与总结。首先阐述了多摄像头视频时间同步方法,之后根据时间同步所利用的特征进行分类,现有的多摄像头视频时间同步方法主要分为三类:基于音频特征的多摄像头视频时间同步、基于视觉特征的多摄像头视频时间同步和基于音视频特征融合的多摄像头视频时间同步。然后分别对这三类方法进行详细阐述,并分析各个方法的优缺点。最后对多摄像头视频时间同步的研究现状进行总结,分析现有研究方法存在的问题和挑战以及音视频特征融合对多摄像头视频时间同步带来的优势,并指明本论文的研究方向。（2）针对视频特征鲁棒性差以及出现多个时间同步点造成视频时间同步准确性和鲁棒性差等问题,本论文以音视频特征融合为基础,提出了融合音视频特征相似度的交叉验证多摄像头视频时间同步方法,以提高多摄像头视频时间同步的准确性和鲁棒性。该方法创新性的利用视频帧的尺度不变特征变换（Scale-invariant feature transform,SIFT）特征提取关键帧的方法提高视频特征的鲁棒性,并且在音视频特征融合方法上,将音频特征相似度与视频特征相似度进行融合,并结合视频质量与非线性融合函数来实现,使得音视频融合的方法在多摄像头视频时间同步上具有更广泛的应用,从而解决多个时间同步点的问题。在时间同步算法上,引入交叉验证的方法进行全局时间同步,进一步提高多摄像头视频时间同步的准确性和鲁棒性。通过在两个公开数据集上进行实验分析,该方法在时间同步准确率上优于现有的利用音频特征、利用视频特征和利用音视频特征融合的方法,并且在误差容限为40ms的情况下,该方法比现有研究中利用音视频特征融合的方法在时间同步准确率上提升了 14.6%,验证了该方法的有效性。（3）针对现有的时间同步方法受到异常值的影响较大这一问题,本论文在已有研究基础上提出归一化音视频特征融合的自步学习多摄像头视频时间同步的方法。该方法具体的创新点主要体现在以下两点:在音视频特征融合方法上,将我们提出的基于SIFT的改进视频特征与音频色度特征进行融合,采用聚类的方式计算音频特征相似度,并引入了归一化的处理以有效解决音视频特征融合时可能出现异常值的问题。在时间同步算法上结合了自步学习的理论,通过设计目标函数进行优化使得时间同步算法按照音视频质量对视频数据进行自动的排序学习,优先同步音视频质量较好的视频数据,以解决时间同步的准确性受异常值影响的问题,达到提高算法的准确性的目的。通过在公开数据集上进行实验分析,该方法在时间同步准确率上优于现有的利用音频特征、利用视频特征和利用音视频特征融合的方法,尤其是在数据量相对较大且异常值较为突出时,在误差容限为40ms的条件下,与现有的音视频特征融合的方法相比时间同步准确率提升了13.6%。
其他文献
目的 分析钬激光碎石术治疗泌尿系结石的效果.方法 选取本院2019年2月至2020年5月104例泌尿系结石患者,根据不同术式分成参照组(52例)与试验组(52例),分别行传统手术与钬激光碎石术,对比两组的手术指标、一次性碎石率、结石取净率、生活质量以及并发症发生率.结果 试验组的手术历时、出血量、术后疼痛程度、住院时间(47.06±4.38分钟、252.38±10.05ml、3.87±1.54分、2.57±1.15天)均少于参照组(58.83±5.06分钟、270.62±11.67ml、4.76±2.00
目的 探讨阴式子宫切除术和腹式子宫切除术的临床效果.方法 回顾性分析2018年6月至2020年12月在本院确诊为子宫肌瘤并子宫切除术的患者68例的临床资料.根据患者接受的手术方式分为对照组30例和实验组38例,对照组采取腹腔镜手术治疗,实验组采取阴式手术进行治疗.观察两组患者的手术指标、术前术后卵巢储备功能指标变化以及术后的胃肠功能的恢复情况.结果 两组患者手术相关指标的比较,手术时间、术中出血量和住院天数对照组均高于实验组,差异具备统计学意义,P0.05.两组患者所有指标在术前比较均无差异,P>0.05
雷达指纹识别旨在通过提取由雷达内部元器件差异造成的发射信号区别于其他同型号雷达的细微特征,实现雷达个体的判别和追踪。与传统雷达个体识别或调制方式识别相比,雷达指纹识别具有指纹信息极其细微、隐匿度较高的特点。目前,基于机器学习的雷达指纹特征提取与识别方法逐渐崭露头角,然而已有的研究多基于仿真数据,模型和参数设置偏差较大,在实际场景中的识别率低、稳定性差;另外,电子战日趋智能化、自动化,对雷达指纹识别
目的 探讨立体定向穿刺抽吸术治疗高血压脑出血的机制、方法和临床疗效.方法 2020年6月至2021年2月期间,在本院开展立体定向穿刺抽吸术加术后尿激酶血肿腔辅助引流治疗高血压脑出血21例.结果 患者平均住院时间为(14.71±3.61)天,术后24-48小时复查头颅CT提示血肿清除率约为88％,2例患者术后7天内再次出血.术后3个月mRS评分0-2分共计7例,占33.3％,3-5分14例,占66.7％.21例患者中,术后2例并发脑积水,15例出现肺部感染,1例出现泌尿系感染、1例出现消化道出血症状.结论
目的 探究可能导致脊柱骨折患者术后发生深静脉血栓的相关因素.方法 将本院收治的150例脊柱骨折患者设为研究对象,统计所有患者术后发生深静脉血栓情况,分析可能导致血栓发生的相关因素.结果 所有患者中发生深静脉血栓共85例(56.67％);单因素分析表明,吸烟和饮酒在深静脉血栓形成上差异无统计学意义(P>0.05);年龄、肥胖、糖尿病、高血压、高血脂、抗凝药、术后卧床时间和康复锻炼在深静脉血栓形成上差异具有统计学意义(P<0.05).多因素分析表明,年龄≥60岁、肥胖,有糖尿病、高血压、高血脂、围手术期未抗凝
目的 探讨宫颈环形电切术(LEEP)联合阴道镜对宫颈癌前病变患者的治疗效果.方法 选取2018年8月至2020年8月本院收治的100例宫颈癌前病变的患者为研究对象,采用随机数字法将其分为观察组与对照组,每组各50例,对照组给予宫颈冷刀锥切术治疗,观察组采取宫颈环形电切术(LEEP)联合阴道镜治疗.治疗后,比较两组的临床疗效、手术指标、生活质量以及术后并发症与术后6个月复发的情况.结果 治疗后,观察组总有效率与对照组差异无统计学意义(96.00％vs 94.00％,P>0.05).治疗后,观察组的手术时间、
目的 Stanford B型主动脉夹层(AD)患者开展腔内修复,观察主动脉重塑与血栓形成情况.方法 选择2019年1月至2021年1月本院收治的68例Stanford B型AD患者,所有患者均行覆膜支架腔修复术,对比患者主动脉重塑及血栓吸收情况、治疗前后真假腔直径及并发症发生情况.结果 入组68例患者,经腔内修复治疗术后,主动脉重塑37例,占比54.41％(37/68),血栓完全吸收患者44例,占比64.71％(44/68);治疗后6个月,患者近端破口与气管分叉水平真腔直径较治疗前长,假腔直径较治疗前短(
目的 盘状半月板损伤关节镜术后疼痛发生情况及其影响因素.方法 选择2016年1月至2019年1月在本科行关节镜治疗的98例盘状半月板损伤患者为研究对象,分析疼痛组和无痛组患者术后疼痛的影响因素.结果 疼痛组患者术后7天内负重者、术后未冷敷者及合并关节软骨损伤者占比显著高于无疼痛组,差异有统计学意义(P<0.05).Logistics回归分析结果显示,年龄过大、术后过早负重、关节软骨损伤及术后未冷敷是患者术后发生疼痛的独立危险因素(OR=1.14,OR=7.00,OR=8.59,OR=1.116,P<0.0
手势跟踪（Hand Tracking）作为人机交互领域（Human-Computer Interaction,HCI）的一门重要研究课题,拥有着广泛的应用领域,比如:动画制作、康复训练、机器人控制、虚拟现实（Virtual Reality,VR）和增强现实（Augmented Reality,AR）等。现有的手势跟踪技术大多基于单一模态并且对象是不与外物作用的独立人手,其性能受限于单一模态的内在缺
目的 探究超声引导下经皮射频热消融治疗混合性良性甲状腺结节的临床疗效.方法 选取本院2020年1月至2021年1月收治的63例混合性良性甲状腺结节患者作为研究对象,采用超声引导下经皮射频热消融手段对患者进行治疗,观察患者手术情况(手术治疗时间、住院时间、手术结果,测量患者治疗前后(治疗后1、3、6、12月)甲状腺结节体积以及体积缩小率,在治疗后患者的并发症(出血异常、皮肤灼伤、声音嘶哑、呼吸困难、甲状腺功能底下等).结果 所有患者平均手术时间(29.84±5.32)分钟,平均住院时间(4.77±1.32)