1. 研究目的与意义(文献综述)
数字图像处理在人们生活中有着非常重要的理论价值和应用价值,其主要目的是通过技术手段改善图像信息质量以便于人们理解、分析和应用图像。而图像超分辨率重建(super resolution,sr)[11]是计算机视觉领域一项基础的研究课题,在卫星遥感、公共安全和生物医学等领域具有广泛的应用。通过sr算法对低分辨率图像进行高频信息恢复,使图像获得更好的视觉感受。随着深度学习在各个领域的爆发式发展,国内外有大量基于深度学习的sr方法被提出且取得了显著的效果。然而这些先进的算法仍存在一些问题。一方面,网络训练难度较大,而难以获得较高的重建质量,且收敛速度慢、耗时较长,因此如何降低网络的训练难度和加快收敛速度是值得关注的问题之一;另一方面,目前的网络常常为追求更好的客观评价指标而导致网络复杂度较高、参数量过大;同时,重建图像的质量评估始终是一个较难解决的问题,传统客观评估指标常常难以符合人类主观视觉感知。
现有阶段的sr算法可以分为三类[1]:一,使用插值来补充图像像素,以提高图像的分辨率[2]。常见的插值方法是邻居插值和双三次插值。二,基于重构的图像sr算法。通过研究lr图像下hr图像细节的表示,可以建立它们之间的对应关系[3]。一些经典算法是:pocs,ibp和mle。这些方法可以在一定程度上虽然确保了hr图像中边缘信息的清晰度,但是视觉效果过于平滑。三,基于学习的图像sr算法。通过学习lr图像和hr图像之间的关系来建立lr图像和hr图像之间的端到端映射[4]。近年来,基于深度学习的方法在图像领域具有重要的意义。超分辨率(sr)卷积神经网络(srcnn)[5]使用了三个简单结构的卷积层,先将双三次插值应用于lr图像,以将其放大到目标尺寸。然后通过卷积网络执行非线性映射。最后,生成hr图像。
卷积神经网络(convolutional neural network, cnn)是一种前馈神经网络[6],在大型图像处理方面有出色表现。一方面,近年来随着深卷积神经网络(dcnn)的发展,超分辨率的研究也取得了新的进展。特别是,残差学习技术表现出良好的性能。基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。然而该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。因此具有较大的研究价值。
2. 研究的基本内容与方案
本研究致力于探索一种高度精确的单图像超分辨率(sr)方法。图像的比例通常是用户指定的,可以是任意的,包括分数。
jiwon kim等人[7]受vgg-net启发[8],通过在深度网络结构中多次层叠小型滤波器,有效地利用了大图像区域上的上下文信息。收敛速度被最大化,并且使用梯度裁剪来确保训练的稳定性,也适用于其他图像恢复问题,例如降噪和压缩伪影去除。bee lim和sanghyun son[9]等人在2017年改进了深度超分辨率网络(edsr),在传统的剩余网络中去掉了不必要的模块而进行了优化,如nah等人[16] 在他们的图像去模糊工作中一样。通过多层叠加或增加滤波器的数目来提高模型的性能。当考虑有限的计算资源时,增加f而不是b可以使模型容量最大化。并提出的残差块构造基准(单尺度)模型:该结构类似于srres网[17],但在剩余块之外没有re-lu激活层,只对每个卷积层使用64个特征映射。在最终的单尺度模型(edsr)中,通过设置b=32,f=256,比例因子为0.1来扩展基线模型。而jiahui yu与yuchen fan[10]等人发现单个卷积网络足以实现多尺度因子超分辨率,并通过残差网络[12-14]和梯度削波同时解决了网络收敛梯度爆炸的问题。[1]的研究探讨了深层神经网络在sr中的潜力,删除了手工三次采样和双三次插值运算,引入了去卷积层而不是上采样层,设计了本地多态并行网络和多对多连接。同时进行仿真实验,证明了该方法的优越性。
针对现有的 srcnn [15]算法,本文进行了详尽的研究。通过反复对比提出最优方案。在获得更优的超分辨率重建效果的同时,大大提升运算速度,提高算法的性能。
3. 研究计划与安排
3月25号前,上传开题报告和外文翻译
4月15号前,阅读文献,代码运行,开始行文
5月25号前,完成3次阶段性成果报告
4. 参考文献(12篇以上)
[1]zeng, k.; ding,s.; jia, w. single image super-resolution using a polymorphic parallelcnn.2019.
[2]park sc, min kp,kang mg. super-resolution image reconstruction: a technical overview.2003.
[3]timofte r, lee km,wang x et al. ntire 2017 challenge on single image super-resolution: methodsand results.2017.
