基于卷积神经网络的结构光焊缝图像处理技术研究文献综述

摘要

背景导向纹影技术(Background Oriented Schlieren BOS)因其结构简单，视场范围大等优点，被广泛应用于对气动流场的实时测量。但在多方向CT-BOS重建过程中，由于相机无法在待测场内清晰成像，导致其内参的标定结果受到模糊标定图像的影响，进而对重建结果产生影响。本文分析了BOS成像光路中模糊标定图像的产生原因，对相关模糊图像的盲复原技术展开研究，拟设计一种基于卷积神经网络的盲复原算法，并通过多方向相机标定实验进行验证和分析。

关键词：BOS技术 图像盲复原 卷积神经网络

一、研究背景和意义

1.1背景纹影导向技术

气动流场中气流流态的实时显示与关键参量测量是研究空气动力流动机理、验证飞行器气动布局的关键手段。纹影法是高超声速气动实验中进行流动显示研究的标准方法，具有非接触，测量动态范围大和对环境稳定性要求低的优点。其中，由Mier^[1]和Richard^[2]发展起来的背景导向纹影技术(Background Oriented Schlieren BOS)是一种利用流体密度和折射率之间的格拉斯通－戴尔(Gladstone-Dale)关系对流体密度梯度进行流动可视化的新技术。它采用粒子图像测速法(particle image velocimetry，PIV)处理测量中的粒子图像，无需极为精密的透镜和切割光阑等传统纹影的设备，并且突破了透镜大小对测量范围的限制^[3]。在工程中，背景纹影技术可用于测量大型密度场的变化；这项技术目前在国外已广泛应用于高速流场的密度场测量，如风洞测量^[4]、叶片旋流测量^[5-6]、气体射流测量^[7]等。

1.2 BOS技术基本原理以及模糊图像形成原因

背景纹影技术是为纹影技术的一种，是通过光线的偏折量来反映测量流场的密度变化情况^[3]。BOS技术利用了密度梯度(密度的一阶微分值)与流体折射率变化的关系，其基本原理是由摄像机透过待测流场采集另一侧的背景图像，由于气流扰动，使得背景图像上的图样相对于无流场扰动时发生变化，BOS技术根据PIV粒子互相关算法去提取无扰动背景图像和有扰动背景图像之间特征点的偏移。特征点的偏移大小反映了待测流场的光线偏折情况，同时也反映了待测区域的密度变化情况。

当光线在非均匀介质中传输时，由费马原理可知，若存在光线偏移量远远小于流场宽度，则有^[8]：

　　其中，C为常数，与实验条件有关；为测量获得的不同方向的特征点的偏移量。对整个位移矢量场的x和y方向求偏导，则可以获得如下的泊松方程：

　　对于给定的位移矢量场，以及给定的边界条件，上式可通过有限差分或有限元方法求解，进而获得待测场的投影积分效果的定量折射率场分布，并通

过格拉斯通－戴尔公式，计算求出定量密度场信息。

CT（Computer Tomography)技术即计算机断层成像技术^[9]的发展使三维场的测量和重建成为可能。目前BOS技术的三维重建中，主要使用基于Radon逆变换的滤波反投影重建算法和基于Abel逆变换的迭代重建算法来实现。在进行多方向CT-BOS重建时，需要在待测区域内放置标定板确定相机外部参数。由于在采集背景图像时，BOS成像光路中的相机聚焦在背景图像上（如图1），因此相机无法对待测区内的标定板清晰成像。这是因为在光学成像系统中，一定距离的目标成像对应于一个准焦位置，当像面偏离该位置时，成像系统会出现离焦，并导致像质下降^[10]。相机所拍摄的标定板图像出现离焦模糊，模糊的标定图像会严重影响标定点的定位精度，从而影响待测场的重建结果。

图1 BOS技术原理示意图

二、国内外研究现状

图像模糊是图像处理中常见的失真现象。图像复原的目的是为了抑制或消除图像模糊而复原图像，改善图像质量。

常见的图像模糊主要分为两种，一种是像面与探测器接受面不重合引起的离焦模糊，二是目标和相机的相对移动所造成的运动模糊。通常情况下，离焦模糊主要是由于成像时，像距（像到透镜的距离）、物距（物体到透镜的距离）以及相机的焦距之间没有满足高斯成像定理，导致理想的清晰像没有落在相机的感光板上。而在BOS成像光路中，相机镜头的焦距是固定的，调节相机的像距离将相机聚焦在背景平面上，使相机可以对背景图像清晰成像，这就意味着相机无法在待测区域内对标定板清晰成像，进而出现标定图像的离焦模糊。

2.1图像复原基本处理思路以及经典处理方法

线性图像的复原过程通常称为图像去卷积。对于具有加性噪声的线性空间不变退化系统, 图像退化过程可以表示为:

(4)式中,表示退化图像, 表示原始图像,加性噪声, *为卷

积运算。(4)式对应的频域表达式为:

在图像复原中，首要问题是从模糊图像中估计出退化函数或称点扩散函数。常见的估计退化函数的方法有三种，分别是观察法、试验法和数学建模法。使用其中一种或几种方式估计的退化函数来复原一幅图像的过程，称为盲去卷积，因为真正的退化函数很难准确得到。之后根据退化函数建立退化模型，根据此模型，采用各种逆退化处理方法进行恢复，使模糊图像复原，提高图像质量。但实际过程中，也可以交替估计退化函数和清晰图像，最终得到视觉上的满意结果。

经典的一些模糊图像的复原方法有：逆滤波、维纳滤波、约束最小二乘法、Lucy-Richardson算法以及正则化方法等^[11]。其中，逆滤波算法是由退化函数H退化的图像复原的最初手段，对于(5)式，如果忽略噪声的影响，可以得到：

对F(u,v)做傅里叶逆变换来得到未退化的原始图像。考虑到H(u,v)为0或者接近0时，噪声对复原过程影响非常大，复原效果不够理想。

维纳滤波又称为最小均方差滤波，它是一种综合了退化函数和噪声统计特性进行复原处理的方法。找到未污染图像的一个估计，使得它们之间的均方误差最小。常用下面的公式来近似维纳滤波：

值的交互式选择用来找到最好的视觉效果。一般取空间域中图像信噪比的倒数，当取值在0.0001~0.01之间可以减少震铃效应。

约束最小二乘法相对于求解平均意义上最优解的维纳滤波算法，能够实现对其应用的每一幅图像都可以产生最优结果。退化模型为：

该模型满足约束条件：。要求解的二阶导数的范数平方最小，根据拉格朗日乘法，将问题转化为最优化问题。最终得到的频率域表达式为：

其中，X(u,v)是x的傅里叶变换，Y(u,v)是y的傅里叶变换，H(u,v)是B的傅里叶变换，C(u,v)是过程中提出的差分算子。优化过程需要确定的取值，进而得到清晰图像的频谱图。Hunt在1973年提出利用迭代的方法来不断修正，最终得到的最佳估计值。

以上算法都是在频率进行图像修复，而L-R算法是基于时域的一种图像修复算法，该算法假设噪声符合泊松分布，采用贝叶斯理论以及最大似然估计迭代复原算法。其核心迭代公式为：

针对传统的LR算法存在震铃效应和迭代过程中的噪声放大等问题，Yuan^[12]和ZHAO^[13]通过在迭代过程中引入了增益图，修改迭代公式，在有效抑制震铃效应的同时保留了图像的细节。

数学家Hadamard提出，如果一个问题满足解存在且唯一、连续依赖于数据这三个条件，那么该问题即可称为良态（适定性）问题，反之称为病态或者不适定的。在图像复原问题中，噪声的微小扰动会到导致解的很大变化，因此该问题是病态的。有学者提出在求解过程中增加合适的约束条件可以使该病态问题从良态问题角度使解逼近最优解。其核心的思想使利用图像的先验统计信息，并以先验约束正则化的形式应用到复原模型中，得到图像复原的最优解^[14]。其中，通过正则化方法^[15]提出了根据噪声和高通滤波图像后能量的空间分布求解图像近似解的公式。Fergus等^[16]发现了自然图像的梯度服从重尾分布，并采用高斯模型来作为图像复原中的正则项逼近重尾分布。

2.2 离焦模糊图像复原研究进展

文献^[17]得出了成像系统的离焦模型。光学系统离焦时, 物空间的一点映射到象空间变成一个小圆斑, 离焦造成的图像模糊相应的点扩展函数(PSF)可简化为一个均匀分布的圆盘函数, 即离焦模糊的退化模型可用圆盘函数描述：

其中R是模糊半径, 是需要辨识的参数。

另外还由一种模型常用来进行离焦图像复原，称为高斯离焦模型：

该近似模型的模糊参数为，是由工程人员在处理实际问题中总结出来的近似模型。

对于圆盘模型，需要确定模糊半径R。对于求解离焦模糊半径R有很多方法。郑楚君^[18]利用了圆盘模型,提出在噪声较小的条件下，由离散模糊图像的傅里叶变换的第一个零点所对应的空间频率u,v来估计模糊半径R，最后结合维纳滤波对模糊图像进行复原。另外，通过计算系统的线扩散函数也可以得到模糊半径R，这是因为离焦模型具有圆形对称的特点，任意方向的线扩散函数均可以得到系统的点扩散函数，线扩散函数可以通过刃边函数求导得到，而刃边函数通过离焦模糊图像的边缘检测得到。范海菊^[19]提出了局部熵和直方图统计相结合的算法，通过对模糊图像进行局部熵滤波得到灰度变化量，利用Canny边缘算子和Hough变换检测出离焦图像的直线边缘，并利用直方图统计和Grubbs检验法定位阶跃边缘求出线扩散函数。

还有部分文献中研究了舍弃传统的离焦模型处理离焦图像的方法，提出了新的方法来估计退化函数。王媛媛^[20]以光学理论为依据，得到实际离焦模糊光学系统的传递函数，之后采用二次滤波的方法进行图像复原，使离焦图像的退化函数可以得到更加精准的确定。韩小芳^[21]提出了利用改进的Prewitt算子和费米函数计算模糊图像的刃边函数，进而得到图像的线扩散函数和退化函数，最后利用了维纳滤波复原图像。

2.3 利用神经网络解决图像复原问题

随着机器学习和深度学习的发展,人工智能算法的不断完善,将图像复原与人工智能技术相结合来处理图像，成为当前图像复原领域的发展趋势。传统模糊处理算法需要得到退化函数、噪声分布等相关先验信息，而且通常假设图像噪声的分布符合某种统计规律，通过迭代和优化算法得到最优值。卷积神经网络可通过大量的清晰图像和人工生成的模糊图像的训练学习，得到图像退化过程中的内在规律，从而可以直接从输入模糊图像生成清晰图像^[22]。

卷积神经网络（Convolution Neural Network CNN)的提出最早是基于对生物体的视觉系统的研究。CNN最著名的应用场景是用于手写数字识别^[23]，而现在卷积神经网络已经在图像处理、物体检测、人脸识别等方面被广泛应用。

在CNN被应用于图像去模糊的研究中，Jain^[24]的采用了非监督式的学习过程，建构了4层卷积层的网络结构用于图像模糊去除。但由于网络结构简单，图像去模糊的效果并不理想。Schuler^[25]等提出了一种非盲图像的反卷积方法，首先利用图像的退化函数得到反卷积后的图像，但由于该过程中噪声会被放大而且存在震铃效应，得到的图像存在畸变，之后使用多层感知器神经网络（multi-layer perception MLP)进行优化操作，但该方法的不足在于训练后的网络结构只能处理一种类型的退化函数且MLP结构复杂，网络训练速度比较慢。Xu^[26]指出之前所使用的SSDAE(stacked sparse denoise autoencoder)和CNN只考虑了图像的降噪过程并没有重视反卷积性质，他根据模糊核可分解的特性提出了一种深度卷积网络结构（DCNN）来完成图像的反卷积任务。其结果表明该方法仅对图像饱和区域的震铃效应有比较理想的改善效果，图像的细节信息部分丢失。

国内部分学者也结合神经网络提出了复原图像模糊的新方法。其中，李扬^[27]等提出了一种基于布谷鸟搜索的BP(Backgroud-propagation)神经网络图像复原算法，使用布谷鸟算法找到BP神经网络的最优的初始权值和阈值，解决了BP神经网络容易陷入局部极小值和对网络初始状态敏感的问题。石晓玲^[28]建立了一种端到端的处理模型，利用多层神经网络表达非线性的图像退化和复原过程，并利用反向传播算法优化各层权重，该模型可以在光照不足的情况下得到较为理想的清晰图像，但图像仍会受到震铃效应和棋盘效应的影响。兰妙萍^[29]提出了一种基于卷积神经网络和BP神经网络的混合神经网络模型，通过训练卷积神经网络建立清晰图像与模糊图像的非线性关系，再利用卷积神经网络提取图像的特征向量，并以此作为BP神经网络的输入，最终使用BP神经网络进行图像复原，复原效果优于现有方法但对模糊核的大小存在限制。任静静^[14]设计了高配信号保持且可快速模糊去除的快速卷积神经网络模型，但该模型需要对图像在频率域上进行预处理自适应性较低。龚雪友^[30]提出了一种基于卷积神经网络的图像复原算法 Match-Map,该方法通过训练两个结构一样的 Pre-Net和Iter-Net,实现对模糊图像进行特征分解和重构清晰图像的目标，克服了传统复原 算法在预测点扩散函数时过于依赖边缘的问题。

另外，针对图像复原提出的深度网络模型多为监督式训练，模型依赖于标注数据和长时间的训练，而且大部分方法需要依靠估计出精确的模糊核即退化函数来恢复潜在的清晰图像，由于模糊核很难被精确估计所以会存在振铃效应。Goodfellow等人在2014年提出了生成式对抗网络（Generative Adersarial Network GAN）^[31]。这种网络结构来源于博弈论中的二人零和博弈，包含一个生成器Generator和一个鉴别器Discriminator。给定随机噪声分布后，将真实样本和生成样本分别输入鉴别器，鉴别器会输出用于真假判断的概率值，当鉴别器无法区别真实数据和生成数据时训练停止，此时生成器和判别器之间达到了误差平衡^[32]。桑^[33]等人通过利用生成式对抗网络的思想对卷积神经网络中的残差网络进行了改进，由于省略了对模糊核的估计过程，因此避免了模糊核估计误差带来的振铃效应，有效地复原了图像的细节信息。Kupyn O^[34]使用了基于UNet版本的BLocks对原始图像进行上采样，采用了监督式学习的方法，在训练过程中提取生成器和整个模型的最后损失，最终得到了比较好的处理结果。

三、本文的研究内容和研究手段

由于神经网络拥有良好的非线性自适应特征，可以更加准确的辨识参数，并且具有实时性。相机的标定需要利用标定图像中的细节信息确定相机的外部参数，因此对图像复原的效果要求非常高。本论文根据卷积神经网络的基本理论以及卷积神经网络处理图像复原问题的相关算法，分析BOS光路中离焦模糊图像的特点，结合传统离焦图像处理的基本模型，选择合适的网络参数，优化网络结构设计，提出一种基于卷积神经网络的BOS技术模糊图像盲复原模型。同时进行BOS多方向模糊图像标定实验，验证模型的处理效果，并根据可能出现的问题对模型进行改进。

四、论文工作安排

1、12月8日~ 1月15日 收集相关文献资料。学习有关理论知识。完成英文翻译。查阅文献资料，完成开题报告。

2、1月 16日~ 3月19日 分析BOS成像光路中的模糊图像形成原因，设计盲复原算法。

3、3月 20日~5月10日 进行BOS多方向模糊图像标定实验，验证盲复原程序。

4、5月11日~5月25日 撰写毕业论文，准备论文答辩。

五、参考文献

1. Venkatakrishnan L, Meier G E A. Density measurements using the background oriented schlieren technique[J]. Experiments in Fluids, 2004, 37(2): 237-247.
2. Richard H, Raffel M. Principle and applications of the background oriented schlieren (BOS) method[J]. Measurement science and technology, 2001, 12(9): 1576.
3. 周昊, 吕小亮, 李清毅, 等. 应用背景纹影技术的温度场测量[J]. 中国电机工程学报, 2011, 31(5): 63-67.
4. Richard H，Raffel M．Principle and applications of the background oriented schlieren (BOS)method[J] ． Measurement Science amp; Technology，2001，12(9)：1576-7585．
5. Roosenboom E W M，Schroder A．Qualitative Investigation of a Propeller Slipstream with Background Oriented Schlieren[J]．Journal of Visualization，2009，12(2)：165-172．
6. Kindler K，Goldhahn E，Leopold F，et al．Recent developments in background oriented Schlieren methods for rotor blade tip vortex measurements[J]．Experiments in Fluids，2007，43(2-3)：233-240．
7. Dubois J，Amielh M，Anselmet F，Gentilhomme O．Investigation of axisymmetric underexpanded air and helium jets by background oriented schlieren[J]．Journal of Visualization，2009，12(3)：192-192．
8. 杨彦. 图像复原算法[D]．成都: 四川大学, 2004．
9. 庄天戈.CT原理与算法[M].上海：上海交通大学出版社，1992：30-60.
10. 洪裕珍, 任国强, 孙健. 离焦模糊图像清晰度评价函数的分析与改进[J]. 光学 精密工程, 2014, 22(12): 3401-3408.
11. 冈萨雷斯, 伍兹, 埃丁斯, 等. 数字图像处理: MATLAB 版[M]. 电子工业出版社, 2005.
12. Yuan L，Sun J，Quan L，et al.Image deblurring with blurred noisy image pairs[J].ACM Transactions on Graphics，2007，26（3）.
13. 赵博, 张文生, 丁欢. 基于 Richardson-Lucy 的图像去模糊新算法[J]. 计算机工程与应用, 2011, 47(34): 1-4.
14. 任静静. 基于卷积神经网络的图像模糊去除[D].安徽大学,2017.
15. 曾三友，康立山． 一种基于正则化方法的准最佳图像复原技术［J］． 软件学报， 2003， 20( 3) : 689 － 696.
16. R. Fergus, B. Singh, A. Hertzmann, S. Roweis, W. Freeman, Removing camera shake from a single photograph, in: ACM SIGGRAPH, 2006.
17. SUBBARAO M, CHOI T S, NIKZAD A. Focusing techniques [J]. Optical Engineering, 1993, 32(11): 2824-2836.
18. 郑楚君, 李榕, 常鸿森. 离焦模糊数字图像的 Wiener 滤波频域复原[J]. 激光杂志, 2004, 25(5): 57-58.
19. 范海菊,冯云芝,涛,冯乃勤. 离焦模糊图像模糊半径检测的新方法[J].计算机应用,2012,32(07):1875-1878.
20. 王媛媛. 离焦模糊图像处理的研究与应用[D].北方工业大学,2011.
21. 韩小芳. 运动与离焦模糊图像的复原[D].大连理工大学,2011.
22. 石晓玲,杨英仓,尤超.基于卷积神经网络的交通监控模糊图像复原技术[J].智能城市,2017,3(01):147-149.
23. LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
24. Jain V, Seung S. Natural image denoising with convolutional networks[C]//Advances in Neural Information Processing Systems. 2009: 769-776.
25. Schuler C J, Christopher Burger H, Harmeling S, et al. A machine learning approach for non-blind image deconvolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013: 1067-1074.
26. Xu L, Ren J S J, Liu C, et al. Deep convolutional neural network for image deconvolution[C]//Advances in Neural Information Processing Systems. 2014: 1790-1798.
27. 李 扬,吴敏渊,邹 炼.基于布谷鸟算法的 BP神经网络图像复原 [J].计算机应用,2017,37(S1):173-175,197.
28. 石晓玲． 基于卷积神经网络的交通监控模糊图像复原技术［J］． 智能城市， 2017，3( 01) : 147 － 149．
29. 兰妙萍． 基于卷积神经网络的图像复原方法研究［D］． 无锡: 江南大学， 2017．
30. 龚雪友,陶青川.一种基于卷积神经网络的图像复原算法 Match-Map[J].现代计算机,2017(9):111-114.
31. Goodfellow I J，Pouget-Abadie J，Mirza M， et al． Generative adversarial networks［C］．Proceedings of the 27th International Conference on Neural Information Processing Systems，2014: 2672-2680．
32. Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[J]. arXiv preprint, 2017.
33. 桑亮,高爽,尹增山.基于生成对抗网络的运动模糊图像复原[J/OL].计算机工程与应用:1-8[2018-12-28].http://kns.cnki.net/kcms/detail/11.2127.TP.20180622.1618.006.html.
34. Kupyn O, Budzan V, Mykhailych M, et al. DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks[J]. arXiv preprint arXiv:1711.07064, 2017.

摘要

背景导向纹影技术(Background Oriented Schlieren BOS)因其结构简单，视场范围大等优点，被广泛应用于对气动流场的实时测量。但在多方向CT-BOS重建过程中，由于相机无法在待测场内清晰成像，导致其内参的标定结果受到模糊标定图像的影响，进而对重建结果产生影响。本文分析了BOS成像光路中模糊标定图像的产生原因，对相关模糊图像的盲复原技术展开研究，拟设计一种基于卷积神经网络的盲复原算法，并通过多方向相机标定实验进行验证和分析。

关键词：BOS技术 图像盲复原 卷积神经网络

一、研究背景和意义

1.1背景纹影导向技术

气动流场中气流流态的实时显示与关键参量测量是研究空气动力流动机理、验证飞行器气动布局的关键手段。纹影法是高超声速气动实验中进行流动显示研究的标准方法，具有非接触，测量动态范围大和对环境稳定性要求低的优点。其中，由Mier^[1]和Richard^[2]发展起来的背景导向纹影技术(Background Oriented Schlieren BOS)是一种利用流体密度和折射率之间的格拉斯通－戴尔(Gladstone-Dale)关系对流体密度梯度进行流动可视化的新技术。它采用粒子图像测速法(particle image velocimetry，PIV)处理测量中的粒子图像，无需极为精密的透镜和切割光阑等传统纹影的设备，并且突破了透镜大小对测量范围的限制^[3]。在工程中，背景纹影技术可用于测量大型密度场的变化；这项技术目前在国外已广泛应用于高速流场的密度场测量，如风洞测量^[4]、叶片旋流测量^[5-6]、气体射流测量^[7]等。

1.2 BOS技术基本原理以及模糊图像形成原因

背景纹影技术是为纹影技术的一种，是通过光线的偏折量来反映测量流场的密度变化情况^[3]。BOS技术利用了密度梯度(密度的一阶微分值)与流体折射率变化的关系，其基本原理是由摄像机透过待测流场采集另一侧的背景图像，由于气流扰动，使得背景图像上的图样相对于无流场扰动时发生变化，BOS技术根据PIV粒子互相关算法去提取无扰动背景图像和有扰动背景图像之间特征点的偏移。特征点的偏移大小反映了待测流场的光线偏折情况，同时也反映了待测区域的密度变化情况。

当光线在非均匀介质中传输时，由费马原理可知，若存在光线偏移量远远小于流场宽度，则有^[8]：