【摘 要】
：
随着对图像或视频增强技术的不断完善,人们对于视觉清晰度的要求也随之提升。但是高分辨率图像一方面会增加图像采集、存储和传输的成本,另一方面也会受到低信噪比的困扰。因此,超分辨技术应运而生。超分辨率重建技术主要包括三类:1.基于基于传统算法的超分辨率重建技术一般是利用插值技术实现的,虽然图像或视频映射到了高分辨率空间,但在视觉上仍然是模糊的。2.基于机器学习的超分辨率重建技术则是通过构建回归模型,利用
论文部分内容阅读
随着对图像或视频增强技术的不断完善,人们对于视觉清晰度的要求也随之提升。但是高分辨率图像一方面会增加图像采集、存储和传输的成本,另一方面也会受到低信噪比的困扰。因此,超分辨技术应运而生。超分辨率重建技术主要包括三类:1.基于基于传统算法的超分辨率重建技术一般是利用插值技术实现的,虽然图像或视频映射到了高分辨率空间,但在视觉上仍然是模糊的。2.基于机器学习的超分辨率重建技术则是通过构建回归模型,利用模型的不断优化来提升图像或视频的清晰度,比如利用决策树、支持向量机等。3.基于深度学习的超分辨率重建技术则是利用了卷积神经网络自适应学习的特点,通过使用大量的数据集对模型进行反复训练,使其自动找到同一图像在高、低分辨率空间中所潜藏的特征映射关系,从而实现对图像或视频的特征重建。现有的视频超分辨重建方法大都利用了光流的思想,这使得视频帧重建的质量完全依赖于光流的预测精度,如果光流预测精度低,则很有可能导致重建的视频帧不连续或者生成伪影。因此,本课题使用了一种基于全卷积神经网络的视频超分深度学习框架,通过视频帧在特征层的自适应对齐取代光流的显式运动补偿,其中创新之处有以下三点:1.为了充分利用视频帧间信息,提出了分层卷积与多帧融合相结合的网络结构。对于输入到模型中的连续帧,先分层对不同视频帧进行不同的卷积操作,再将处理后的视频帧进行融合处理。一方面保证了相邻帧之间的连续性,另一方面也为重建图像提供了有针对性的细节特征。2.为了优化重建模型,加入了残差网络。目的是在保证提取出深层次特征的前提下进一步优化模型并提升网络的训练效率。3.为了提升视频超分质量,采用了均方误差损失与感知损失相结合的混合损失函数作为优化目标。对于传统的损失函数来说,其只能以像素为单位对模型进行计算和优化,往往导致模型的泛化能力较弱。而感知损失的特点是直接对图像进行全局的语义感知从而发现图像中包含的视觉级别的细节特征,但也会因此忽略像素级别的差异。因此,通过将传统损失与感知损相结合,不仅能够保证像素级别的特征信息不丢失还能提高实验结果在视觉上的重建质量。本课题的模型是在Pytorch环境下搭建和运行的,其中Pytorch的版本为1.0.1,使用的数据集为我们在You Tube上自行下载的30个1920*1080高清视频,为了保证模型的实用性,该数据集不仅包含人物、动植物,还包含各种自然风光与各国建筑。本实验将视频处理成了3万张连续的视频帧作为训练集,通过与ESPCN、VESPCN等超分辨率重建技术在同一数据集上进行对比实验,结果表明本模型在视觉上最为清晰。因此,实验证明分层融合的网络结构与感知损失的优化训练,能够显著的提高视频帧在视觉上的重建质量。
其他文献
近年来,作为国家重大战略新兴产业,位置服务(LBS)开始广泛进入并影响着人们的生活。随着城镇化步伐的加快和人们生活水平的进一步提高,在室内位置导航、资产管理、安全监控、
本研究考察了中非共和国洛巴耶地区油棕增产与农民技术效率提升的关系。此研究的目的是分析棕榈油种植户的生产技术效率,并确定影响棕榈油生产技术效率的因素。该数据收集于2019年,受访者来自150名行业农民。采用随机边界模型、边界模型和多元回归模型对数据进行分析。调查结果表明,受访者的平均年龄为34.58岁,其中49%的受访者处于中学阶段。此外,调查结果还显示,14%的受访者缺乏效率,而28%的人有技术效
我国2014年确立城乡居民基本养老保险制度,针对的人群是农村居民和城镇非从业居民。城乡居民基本养老保险制度最大的亮点是财政全额补助的基础养老金,制度自确立以来,取得了良好的社会效果,但还存在许多不足之处。党的十九大也提出“完善城乡居民基本养老保险制度”,实现“老有所养”需要政府承担更多的财政责任。广东省政府一直积极响应国家对城乡居民基本养老保险制度的改革,每年都将提高城乡居民基础养老金列入政府“十
“十三五”规划明确提出要着力加强供给侧结构性改革,加速转变经济发展方式,以实现经济的可持续发展,实现这一目标最为重要的措施为淘汰落后产能、推动产业结构调整升级。产业结构的调整升级需要各种外部条件的支持,特别是金融业和金融资源的支持,目前学术界从理论和实证两个维度证实金融资源的集聚对产业结构调整具有显著的促进作用。广东省金融业的不平衡发展日益加剧,经济活动和产业分布不断形成以珠三角城市群为核心,非珠
随着国家交通体系的不断完善,桥梁已达到空前的规模,跨度在400米以上的斜拉桥占世界斜拉桥总数的一半以上,桥梁已经由建设阶段发展到运营维护阶段,桥梁的安全检测也越发重要
时代在不断发展,作为第一产业的农业跟第二产业、第三产业相比,比重在逐年减少,但是农业的基础性地位没有改变。近年来,国家多次下发中央一号文件关注新型农业经营主体,2019年国家有关支持家庭农场发展的政策、法规和经营管理制度要健全、培育家庭农场的计划也要有序实施。由此可见,家庭农场已经成为我国具有战略意义的新型农业经营主体。德州市家庭农场的发展紧跟全国脚步,取得了一定的成绩,但是,跟国内外家庭农场发展
在变色材料中,无机变色材料凭借其优异的可逆性、耐疲劳性、稳定性在近年来一直是研究热点。MoO_3具有优异的热致变色、光致变色等变色性能,虽然这些优异的性能引起科研人员的广泛关注和研究,但是因其具有十分巨大的应用潜力,所以新的应用领域不断在增加。在本工作中主要是针对三氧化钼的热致变色和光致变色性能展开研究,在解释其变色机理的基础上,通过稀土元素的掺杂来实现控制样品颜色变化调控上转换发光,另一方面还基
随着雷达、计算机等技术的不断进步,目标跟踪技术发展迅速,普遍应用于军事和民用等领域。扩展目标跟踪在目标跟踪领域具有重要的研究价值。基于随机集(RFS)的目标跟踪方法不需要进行目标状态与量测之间的数据关联,避免了组合爆炸问题,被广泛应于扩展目标跟踪中。因此,本文基于随机集理论,研究多扩展目标跟踪方法,主要工作如下:首先,针对目前基于椭圆随机超曲面(RHM)的多扩展目标跟踪方法无法实现目标航迹跟踪的问
在工业设计和工程应用中存在着许多优化问题,只有目标函数而没有附加约束条件的称为无约束优化问题;有附加约束条件的是约束优化问题,即在满足这些附加条件的基础上求目标函数的极值及其极值点的数学问题。同时,也存在很多问题难以用显式表达式来表达决策变量与目标函数、约束函数值之间的关系,通常需要借助数值仿真计算来建立这种关系,这往往需要进行高精度的大规模数值计算,有时甚至需要几十小时以上,我们称其为费时约束优
Ⅱ型糖尿病(T2DM)是一种由于代谢紊乱导致的疾病,近年来逐渐增大的发病率导致非传染性疾病的费用增加,而T2DM并发症更是严重威胁到人们的生活水平。由于社会资源有限,同时,T2DM并发症不能被完全治愈,糖尿病患者的并发症预防及自我管理行为则尤为重要。相关研究表明预警指标的预测结果对患者有益,大多数研究用专业医疗技术、仪器检测的指标,如酶联免疫吸附法检测的血清血管内皮抑制素水平、微流式血流计检测红细