【摘 要】
：
随着互联网的快速发展,以图像、文本、音频等不同模态的多媒体数据呈爆炸式增长,传统单一模态的检索方式已经无法使用户的需求得到满足,跨模态检索应时而生。跨模态检索旨在提交一种模态数据作为查询样例,检索系统返回不同种类的其他模态数据作为检索结果。通过不同模态间的知识协同,跨模态检索有效满足了现代多样、灵活的检索需求,具有广泛的应用价值。目前,学者们针对跨模态检索展开了一系列研究,取得了很多成果。跨模态检
论文部分内容阅读
随着互联网的快速发展,以图像、文本、音频等不同模态的多媒体数据呈爆炸式增长,传统单一模态的检索方式已经无法使用户的需求得到满足,跨模态检索应时而生。跨模态检索旨在提交一种模态数据作为查询样例,检索系统返回不同种类的其他模态数据作为检索结果。通过不同模态间的知识协同,跨模态检索有效满足了现代多样、灵活的检索需求,具有广泛的应用价值。目前,学者们针对跨模态检索展开了一系列研究,取得了很多成果。跨模态检索的主流思想是将彼此异构的数据映射到同一公共子空间中,生成公共表征,并进行相似度度量。这过程中涉及众多难题,如公共表示学习、模态间关联建模、弥合语义鸿沟等,学者们针对这些问题提出了众多方法。通过对已有工作分析,仍然存在以下不足,如对多模态数据表示的精细度不够,导致语义缺失或特征表达能力较弱,从而影响检索结果的准确率;对不同模态之间的交叉相关性考虑不充分,导致特征表征与其高层语义类别存在较大的差异;同时,由于数据量的快速增长,如何在保证检索精度同时,极大提升检索效率,减少存储消耗,在这些方面都还需要进行更深入的研究。针对以上问题,本文展开了相关研究,主要工作如下:（1）提出了一种基于语义预测的深度监督跨模态子空间检索模型。模型利用深度学习的非线性学习能力进行特征提取,特别融合了通道注意力机制来增强模态特征的精细度表示。通过采用有监督方法指导特征学习,强化对数据标签信息的有效利用,减小不同模态数据之间的语义鸿沟;采用基于语义预测的方法,通过对不同模态的语义学习,隐式构建了模态内数据的近邻结构与模态间的语义结构,增强了模态内部的信息判别能力;采用多级损失函数结合策略,提高了跨模态检索模型的性能。通过在主流数据集上的一系列对比实验,证明了所提模型的有效性。（2）提出了一种基于模态相似性保持的深度跨模态哈希检索模型。该模型有效捕获模态之间与模态内部的内在关系,对提高模型检索效率进行研究。采用深度学习的方法将特征提取与哈希码学习融合到同一端到端框架中,提高了模型检索效率与哈希学习的质量;通过采用不同的成对约束挖掘模态内部与模态间的相似性,极大程度保留不同模态之间的语义相似性;采用量化损失与正则化损失来约束量化过程中的误差最小,哈希码均衡。通过在主流数据集上进行实验,并与代表性跨模态哈希方法进行对比,证明了所提模型的有效性。（3）设计实现了一个跨模态图文检索原型系统。系统将本文提出的检索模型进行封装,实现了跨模态检索的完整过程。系统采用Python作为开发语言,后端采用Django框架,前端采用HTML5、CSS、Java Script、Bootstrap实现。系统能够将接收的检索数据通过跨模态检索模型,进行特征映射与相似性度量,并将检索结果返回至前台进行可视化展示,同时通过跨模态哈希方法进行特征映射,有效提升了系统检索速度。综上所述,本文构建了基于语义预测的深度监督子空间模型,为解决跨模态检索模型中特征抽取过程独立、模态表征语义信息不足问题提供了解决思路;提出基于模态相似性保持的深度哈希模型,在保证量化损失最小的情况下有效提高了跨模态检索匹配的效率与质量;设计并实现了一个跨模态图文检索原型系统,在基于语义的跨模态检索领域进行了有益的探索与尝试。
其他文献
资产证券化是对资产风险进行拆解和剥离并对资产权益进行重组和分配的过程。在利用证券化技术提高供给方和融资方资金流通率的同时需要防范基础资产的隐形信用扩张问题。在证券化过程中,资产组合经过信用转换和增级后,通过定价实现风险溢价,成为可以产生预期收益的证券,1但是风险溢价会进一步引发信用扩张。为了应对证券化风险的发生和传导,应当以市场透明度为原则,建立和完善资产支持证券发行信息披露制度。2019年《中华
新冠肺炎疫情期间,全国税务系统积极拓展"非接触式"办税缴费服务,既方便了纳税人、缴费人,又最大限度降低了人员聚集带来的疫情传播风险。国家税务总局福建省税务局在全力实践"非接触式"办税缴费的同时,开展了一线调研和系统分析,力求在探索和总结中开拓思路,拓展"非接触式"办税缴费的突破点,让"不见面办税""一趟不用跑"等相关举措进一步强化和提升。福建省税务部门如何创新"非接触式"办税缴费服务?对"非接触式
在经济全球化的影响下，不少企业内部人力资源管理工作面临着全新的挑战，企业不仅需要强化对工作人员的管理，还要注重企业业务经营以及技术创新等工作。因此，文章对人力资源组织模型转型的理论基础加以明确，并对当前企业人力资源管理工作中存在的问题展开深入分析，作出企业实施人力资源组织模式转型三支柱模型的难点内容解析。
目的 比较超声引导下经皮顺行法和逆行法治疗动脉导管未闭（patent ductus arteriosus,PDA）的手术疗效。方法 回顾性分析2016年2月—2020年8月新疆心脑血管病医院心外科完成的经胸超声心动图（transthoracic echocardiography,TTE）引导下封堵PDA 166例患者的临床资料，其中男44例、女122例。根据手术入路将患者分为两组：顺行法组60例和
近来西方创造力哲学研究开始了对创造力本质和作用的“辩证思考”,在充分肯定其积极作用的同时，强调研究其“阴暗面”或“负面效应”。相应地，一大批承诺对创造力作辩证思考特别是热衷于揭露其阴暗面的学者已经或正在从多学科角度对创造力的双刃剑角色展开研究，不仅用新方法考察、揭示创造力的阴暗面及其表现，进而提出创造力阴暗面之超越论，而且主张在利用节俭原则理解创造力的基础上，通过创造力的自调节和社会调节消解其阴暗
＜正＞新冠肺炎疫情防控期间,推行"非接触式"办税,改变了传统的服务理念和方式。笔者基于当前形势要求、服务对象需求以及推进"非接触式"办税的实际情况,从征收管理和税收信息化视角,探索进一步深化、拓展"非接触式"办税的方法、路径和应用范围。
疫情防控工作是各高校工作的重中之重，而宿舍管理工作的好坏直接影响到学校疫情防控的效果，宿舍管理疫情防控体系的良好运转是学校疫情防控成功的重要保障。近年来，有关特殊时期高校宿舍管理的相关研究较为匮乏。对于疫情防控，虽然各高校都已建立了一定的管理机制，但相关制度措施的运行效果实际如何目前鲜有研究。课题组结合在疫情防控期间进行宿舍管理的一线实践经验，重新审视相关制度措施的制定、运行，同时通过采取实证研究
一位有着惨痛家庭史的神经生物学家表示,人们也许很快就能从糟糕的记忆中擦掉创伤。也许只要吃一片药丸——或者和临床医生聊一聊——但要在正确的时间。