图像修复国外研究现状分析论文

​

论文简介： 利用图像传输理论测量海水的点扩散函数和调制传递函数并且使用维纳滤波器复原模糊的图像。退化方程H(u,v)在水槽中测量得到。在实验中利用狭缝图像和光源，第一步:一维光照射到水中从而得到不同距离下的狭缝图像数据，这样一维的海水点扩散函数就可以通过去卷积得到。又因为点扩散函数的对称性二维的函数模型也可以通过数学方法得到。利用相似的方法调制传递函数也可以得到。这样传输方程便可以得到:

图像可以由下式获得:

​

论文简介： 论文中提出自然光照下的水下图像退化效果与光偏振相关,而场景有效箱射则与光偏振无关。在相机镜头端安装可调偏振器,使用不同偏振角度对同一场景成两幅图像,所得到的图像中的背景光会有明显不同。通过对成像物理模型的分析,利用这两幅图像和估计出的偏振度,就能恢复出有效场景辐射。他还提出了一个计算机视觉方法水下视频中的退化效应。分析清晰度退化的物理原因发现主要与光的部分偏振有关。然后提出一个逆成像方法来复原能见度。该方法基于几张通过不同偏振方向的偏振片采集图像。

论文简介： 论文提出了一种自适应滤波的水下图像复原方法。通过最优化图像局部对比度质量判决函数,可以估计出滤波器中所使用的参数值。 论文提出一种基于简化的Jaffe-McGlamery水下成像模型的自调谐图像复原滤波器。滤波器的最优参数值是针对每幅图像通过优化一个基于全局对比度的质量准则自动估算的。(对一幅图像滤波器能根据全局对比度自动估计最优参数值),简化的模型理想地适合后向散射较少的漫射光成像.1.首先简化Jaffe-McGlamery水下成像模型：假设光照均匀(浅水区阳光直射)，并且忽略后向散射部分.然后基于简化后的成像模型设计一个简单的反滤波器2.将滤波器设计成自适应滤波器。

论文简介： 论文对于调制传递函数给出了详细准确的系统函数信息,水下图像可以用它或点扩散函数进行复原.作者进行实验测量了水质参数得出了这些函数，并用得出的函数进行了图像复原。同时他还建立了一个框架来最大限度复原水下图像，在这个框架下传统的图像复原方法得到了拓展，水下光学参数被包含了进去，尤其时域的点扩散函数和频域的调制传递函数。设计了一个根据环境光学特性进行调整的客观图像质量度量标准来测量复原的有效性。

论文简介： 调制传递函数给出了详细准确的系统函数信息,水下图像可以用它或点扩散函数进行复原.作者进行实验测量了水质参数得出了这些函数，并用得出的函数进行了图像复原。(这一部分在王子韬的论文中有比较详细介绍)

论文简介： 在散射媒介中的正则化图像复原。论文在基于物理原因的复原方法难以去除噪声以及透射率低的基础上，提出一种自适应的过滤方法，即能明显的改善可见性，又能抑制噪声放大。本质上，恢复方法的正规化，是适合变化媒介的透射率，因此这个正则化不会模糊近距离的目标。

论文简介： 论文提出一种基于对边缘进行GSA（灰度规范角度）加权的测量图像清晰度的方法。图像首先被小波变换分解，去除部分随机噪声，增加真实边缘检测的可能性。每个边缘锐度由回归分析方法基于灰度的一个角的正切来确定边缘像素的灰度值之间的斜率和位置。整个图像的清晰度是平均每个测量的GSA的比例加权的第一级分解细节的量，作为图像的总功率，最后通过图像噪声方差自适应的边缘宽度。

论文简介： 论文提出了基于主动偏振的人工光照下水下图像处理技术。在宽场人工光照下的水下成像中,在光源端或相机端安装可调偏振器。通过调整光源或相机端的偏振器,同时拍摄两幅或多幅同一场景的图像,从两幅图像中可估计出背景光的偏振度。结合水下成像物理模型,就可以进行图像复原和场景3D信息估计。该方法操作简单,设备筒易,适用于水下画定目标的成像。 大范围人工照明条件下研究成像过程,基于该成像模型,提出一种恢复object signal的方法,同时能获得粗糙的3D scene structure.相机配备检偏振器,瞬间获取同一场景的两帧图片with different states of the analyzer or light-source polarizer,然后用算法处理获取的图片.它统一并推广了以前提出的基于偏振的方法.后向散射可以用偏振技术降低,作者在此基础上又用图像后处理去除剩余的后向散射,同时粗糙估测出3D场景结构.创新：之前的方法有的认为目标物反射光的偏振度可以忽略(即认为只有后向散射是偏振的)；另外还有的认为后向散射的偏振度可以忽略(即认为只有目标物反射光是偏振的)。本文作者认为两者都是部分偏振光。

论文简介： 论文在没有应用任何标准模式、图像先验、多视点或主动照明的条件下同时估算了水面形状和恢复水下二维场景。重点是应用水面波动方程建立紧凑的空间扭曲模型，基于这个模型，提出一个新的跟踪技术，该技术主要是解决对象模型的缺失以及水的波动存在的复杂的外观变化。在模拟的和真实的场景中，文本和纹理信息得到了有效的复原。

论文简介： 论文提出暗通道先验算法复原有雾图像。暗通道先验是一系列户外无雾图像的数理统计，基于观察户外无雾图像的大部分补丁补丁中包含至少一个颜色通道中低强度的像素点。在有雾图像中应用这些先验，我们可以直接的估算雾的厚度，复原成高质量的无雾图像，同时还能获得高质量的深度图。

论文简介： 论文比较研究了盲反卷积算法中的：R-L算法（Richardson-Lucy）、最小二乘法以及乘法迭代法。并且应用了水下图像去噪和威尔斯小角度近似理论推导出点分布函数。通过执行威尔斯的小角度散射理论和模糊度量方法对三种盲反卷积算法进行比较，确定总迭代次数和最佳图像复原结果。通过比较得出：最小二乘算法的复原率最高，但是乘法迭代的速度最好。

论文简介： 论文提出点扩算函数（PSF）和调制解调函数（MFT）的方法用于水下图像复原，应用基于威尔斯小角度近似理论来进行图像增强。在本文中作者分析了水下图像退化的原因，在强化超快激光成像系统中采用了距离选通脉冲的方法，降低了反向散射中的加性噪声。本文对图像的基本噪声模式进行了分析，并使用算术平均滤波首先对图像进行去噪，然后，使用执行迭代盲反褶积方法的去噪图像的初始点扩散函数的理想值，来获得更好的恢复结果。本文通过比较得出，盲反褶积算法中，正确使用点扩散函数和调制解调函数对于水下图像复原的重要性。

论文简介： 本文提出一种图像复原的新方法，该方法不需要专门的硬件、水下条件或现在知识结构只是一个与小波变换的融合框架支持相邻帧之间的时间相干性进行一个有效的边缘保留噪声的方法。该图像增强的特点是降低噪声水平、更好的暴露黑暗区域、改善全局对比、增强细节和边缘显著性。此算法不使用补充信息，只处理未去噪的输入退化图像，三个输入主要来源于计算输入图像的白平衡和min-max增强版本。结论证明，融合和小波变换方法的复原结果优于直接对水下退化图像进行去雾得到的结果。

论文简介： 本文是一篇综述性质的论文。介绍了：1、水下光学成像系统 2、图像复原的方法（对各种图像复原方法的总结） 3、图像增强和颜色校正的方法总结 4、光学问题总结。

论文简介： 论文针对普通水下图像处理的方法不适用于水下非均匀光场中的问题，提出一种基于专业区域的水下非均匀光场图像复原方法，在该算法中，考虑去除噪声和颜色补偿，相对于普通的水下图像复原和增强算法，该方法获得的复原复原的清晰度和色彩保真度通过视觉评估，质量评估的分数也很高。

论文简介： 论文基于水下图像的衰减与光的波长的关系，提出一种R通道复原方法，复原与短波长的颜色，作为水下图像的预期，可以对低对比度进行复原。这个R通道复原的方法可以看做大气中有雾图像的暗通道先验方法的变体。实验表明，该方法在人工照明领域应用良好，颜色校正和可见性得到提高。

论文简介： 作者对各种水下图像增强和复原的算法做了调查和综述，然后对自己的提高水下质量的方法做了介绍。作者依次用到了过滤技术中的同态滤波、小波去噪、双边过滤和对比度均衡。相比于其他方法，该方法有效的提高了水下目标物的可见性。

论文简介： 论文应用湍流退化模型以质量标准为导向复原因水下湍流退化的图像。参考大气湍流图像复原的算法，省略了盐分的影响，只考虑水中波动引起的湍流对水下成像的影响，应用一种自适应的平均各向异性的度量标准进行水下图像复原。经过验证，使用STOIQ的方法优于双频谱的复原方法。

论文简介： 本文提出了一种新的方法来提高对比度和降低图像噪声，该方法将修改后的图像直方图合并入RGB和HSV颜色模型。在RGB通道中，占主导地位的直方图中的蓝色通道以95%的最大限度延伸向低水平通道，RGB通道中的低水平通道即红色通道以5%的最低限度向上层延伸且RGB颜色模型中的所有处理都满足瑞利分布。将RGB颜色模型转化为HSV颜色模型，S和V的参数以最大限度和最小限度的1%进行修改。这种方法降低了输出图像的欠拟合和过拟合，提高了水下图像的对比度。

论文简介： 论文根据简化的J-M模型提出一种水下图像复原的有效算法。在论文中定义了R通道，推导估算得到背景光和变换。场景可见度被深度补偿，背景与目标物之间的颜色得到恢复。通过分析PSF的物理特性，提出一种简单、有效的低通滤波器来去模糊。论文框架如下：1.重新定义暗通道先验，来估算背景光和变化，在RGB的每个通道中通过标准化变换来复原扭曲颜色。2.根据PSF的性能，选择没有被散射的光，用低通滤波器进行处理来提高图片的对比度和可见度。

论文简介： 论文中对当代水下图像处理的复原与增强做了综述，作者阐明了两种方法的模型的假设和分类，同时分析了优缺点以及适用的场景。

参考：

1.简介 2.方法 3.其他 参考文献         图像修复是一种使用相邻区域中可用的空间信息，以不可检测的方式，填充缺失或损坏区域的技术，是图像处理的研究课题。图像修复是图像处理的重要研究子类。图像修复是一种古老的恢复图像的方法，这些图像因划痕而损坏并且陈旧。它在计算机图形学中起着重要作用，保留了历史遗产并消除了不需要的物体。已经提出了几种用于图像修复的算法，如基于PDE（偏微分方程）的修复，基于样例的修复，双边滤波修复，快速数字修复。可以通过在等照线方向上传播已知信息来重建丢失的信息。等照度线是强度相等的线。图像修复可以通过与加权平均内核进行卷积来实现。         有时需要从图像中删除不需要的物体和划痕。不需要的对象可以是徽标，文本等。删除可以手动完成，但这是一项繁琐的任务。不需要的物体和划痕不能直接擦除，因为擦除会在该区域留下白色补丁。通过使用相邻的空间信息，填充不需要的和白色的补丁。该方法称为图像修复。         使用图像修复可以删除在背景下的洞，就好像被删除的对象永远不存在一样。 因此，图像修复旨在填充孔洞以创建令人满意的信息延续，使得中立观察者不容易识别出有编辑过的痕迹。修复不能重建原始图像，但是可以通过与原始图像非常相似的部分填充丢失或不需要的对象。Marcelo Bertalmio是第一个提出图像修复概念的人。         图像修复算法有广泛的应用，包括：          a)物体移除：用户指定的物体可以通过视觉上合理的方式使用修复技术来移除。          b)划痕消除：通过在包含划痕的部分应用图像修复算法，可以恢复因划痕而损坏的旧图像。         c)传输过程中损坏图像的校正：图像在无线传输中经常被破坏。通过将丢失的部分视为修复域，可以恢复原始图像。         d) 产生视觉上令人惊叹的效果：在图像中，可以通过使用修复技术产生所需的惊人效果。         e)文本删除：修复算法可用于消除图像上不需要的文本。          f)其他应用，如红眼校正，旧损坏影片的恢复，压缩等等。         修复方法可分类为基于扩散的修复、基于样本的修复、基于卷积的修复[1,2]。         基于扩散的修复方法在像素级上，将已知图像的信息扩散到未知区域。它利用变分方法概念和PDE（偏微分方程）。此方法不能够为纹理图像提供令人满意的结果，同时还会产生模糊。如果要修复的区域很小，则可以使用这种方法。         在基于样本的修复方法中，通过来自周围已知区域的信息在补丁级别的对缺失区域进行填充。该方法在恢复纹理和重复结构方面提供了令人印象深刻的结果。然而，它们在没有任何示例的情况下重建几何体的能力是有限的并且未被充分理解。这种方法克服了扩散算法的缺点。所提出的图像修复算法遵循以下步骤：1)计算每个补丁的优先级；2)选择最优补丁；3)顺序式地进行填充。填充孔洞的方法是从全局图像中确定的。         基于卷积的修复算法[3]通过将受损像素的邻域与适当的内核卷积来绘制图像。它们非常快，但它们在高对比度损坏边缘处没有很好的效果。该方法中，使用要修复的图像的梯度来计算掩模系数。该算法快速，可迭代，易于实现，并提供非常充分的结果。         Oliveira等人提出了一种使用卷积运算的快速图像修复算法。在他们的算法中，要修复的区域与预定义的扩散掩模重复地进行卷积。该模型与各向同性扩散非常相似。在该方法中，扩散掩模的中心权重被认为是零，因为其原始图像中的相关像素是未知的。它能够在对称背景图像中移除大的物体，并且不是模糊，但是当在自然图像中移除大的对象时会失败或者产生差的结果。         图像修复是一种在图像中填充缺失数据的技术，是图像处理的研究课题。它以一种不可检测的方式填充损坏和丢失的数据。图像修复的目的是以一种视觉上看似合理的方式重建缺失的区域，使之在人眼看来是合理的。在这里，讨论了4篇论文的修复方法，即1) 基于全局与局部一致的修复 ；2) 基于门控卷积的修复 ；3) 基于对抗边缘学习的修复 ；4) 基于前景感知的修复 。 [1]     Amasidha K S, Awati A S,Deshpande S P, et al. Digital Image Inpainting: A Review[J]. InternationalResearch Journal of Engineering and Technology (IRJET), 2016, 3(1). [2]     Chavda P, Gagnani L, Chavda P,et al. Survey on Image Inpainting Techniques: Texture Synthesis, Convolutionand Exemplar Based Algorithms[J]. International Journal for Innovative Researchin Science and Technology, 2015, 1(7): 100-106. [3]     Noori H, Saryazdi S,Nezamabadi-Pour H. A convolution based image inpainting[C]//1st Internationalconference on Communications Engineering. 2010: 130-134.

目前的基于深度学习的方法已经显示了对于修复图像中大量缺失区域的具有挑战性的任务的有希望的结果。这些方法可以生成视觉上合理的图像结构和纹理，但通常会产生与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络不能明确复制借用远处空间的某一位的纹理导致的，但是传统的修复方法特别适合这一问题。文章对这一问题进行了解决。 文章提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，还可以在网络训练期间明确利用周围的图像特征作为参考，以便做出更好的预测。该模型是一个前馈全卷积神经网络，它在测试时可以处理任意位置及大小的孔的修复问题。对包括人脸（CelebA，CelebA-HQ），纹理（DTD）和自然图像（ImageNet，Places2）在内的多个数据集进行的实验表明，其提出的方法可以产生比现有方法更高质量的修复结果。 文章首先通过复制和改进近期最新的修复模型  Globally and locally consistent image completion 来构建其基础的生成图像修复网络，作者引入了粗略到细化的网络结构，其中第一个网络进行初始粗略预测，第二个网络将粗略预测作为输入并预测精确结果。 粗网络的训练损失为 reconstruction loss，细化网络的的损失为 reconstruction loss 和 GAN losses。直观地说，精细网络比缺少区域的原始图像拥有更完整的场景，所以它的编码器可以比粗网络学习更好的特征表示。 除此之外，在下一部分，作者引入了attention mechanism 卷积神经网络逐层地处理具有局部卷积核的图像特征，因此对于从远处空间位置获取特征没有效果。为了克服这个局限性，作者考虑了关注机制，并在深度生成网络中引入了一个新的contextual attention layer。文章使用包括Places2 ，CelebA人脸，CelebAHQ人脸，DTD纹理和ImageNet 在内的四个数据集进行了模型的评估。对比的模型为  Globally and locally consistent image completion 所提出的模型。tensorflow版本（官方）：