Processing math: 1%
Publishes major engineering progresses of China in optics and electronics
Scopus CSCD 中文核心期刊
高级搜索
高级检索
当前位置： 光电工程 2021 Vol. 48 No. 6 210040
科研论文

混合梯度稀疏先验约束下的图像盲复原

Blind image restoration method regularized by hybrid gradient sparse prior

DOI: 10.12086/oee.2021.210040
2021-6
2021 Vol. 48, No. 6
在线预览 下载(1.7MB) 引用本文 XML下载 版权信息 AI智能辅读 AI智能问答 AI思维导图
  • 4216 访问数
  • 1230 下载数
  • 10 引用数
    摘要

  • 摘要

    图像盲复原旨在无参考的情况下准确估计模糊核并恢复潜在的清晰图像。现有研究成果表明，利用全变分模型对高阶图像梯度先验约束进行描述可以有效抑制复原图像中产生的阶梯效应。本文在实验观察和研究的基础上，提出了采用稀疏先验约束模型对盲复原过程进行正则化的方法，以获得更佳的图像复原效果。该方法利用图像高阶梯度的稀疏性，通过与低阶梯度相结合来构造混合梯度正则项。同时，在正则项中引入基于图像熵的自适应因子，来调节迭代优化过程中两类梯度先验的比例，以此获得更好的收敛性。仿真与实验证明，与现有图像盲复原先进方法相比，本文方法具有更优越的图像复原性能。

    关键词

    Abstract

    Blind image restoration aims to accurately estimate the blur kernel and the wanted clear image with no-reference. Existing researches show that the use of the Total Variation to model the high-order image gradient prior constraints can effectively suppress the blocking artifact generated in the restored image. On the basis of experimental observation and research, this paper proposes to use the sparse prior constraint model to regularize the blind restoration process to obtain a better image restoration performance. Our method makes use of the sparsity of the high-order gradient of the image and combines it with the low-order gradient to construct the mixed gradient regularization term. At the same time, an adaptive factor based on image entropy is introduced to adjust the ratio of the two types of gradient priors in the iterative optimization process so as to obtain better convergence. Simulated and experimental results prove that compared with the existing state-of-the-art methods of blind image restoration, the proposed method has superior image restoration performance.

    Keywords

    • HTML全文

  • 1.   引言

    数字图像在成像、存储及传输等环节会受到不同形态的图像退化，主要包括离焦模糊、运动模糊、噪声污染等。这些退化因素造成图像质量下降，从而影响后续图像理解、图像解译等应用。因此，为了对退化图像的质量进行提升，提高其应用价值，需要进行图像复原处理。实际上，在卫星遥感、医疗、天文等诸多领域，由退化图像来恢复原始信息一直是非常重要的问题，长期以来受到了广泛地关注和研究。

    图像退化过程的一般形式可描述为

    g=f∗h+n,

    其中：h表示点扩展函数(point spread function，PSF)，又称模糊核；n表示随机噪声；g表示降质图像。图像复原的目的是从观测图像g恢复出潜在清晰图像f。根据图像退化的模糊核是否已知，图像复原技术可分为非盲复原和盲复原两类。早期的图像复原技术主要围绕模糊核已知的非盲复原展开，然而在大多数实际工程应用中，我们无法获得模糊核的准确信息，因此非盲复原方法在实际应用中受到极大的限制，而盲复原则得到了研究者们越来越多的关注。本文对图像盲复原进行研究，复原过程中同时对模糊核和清晰图像进行估计。

    1.1   研究现状

    现有的图像盲复原研究成果主要集中于传统的迭代优化框架，通过利用各类不同的图像先验和模糊核先验来对迭代估计过程进行约束。尤其是稀疏先验约束模型，在近年来受到专家学者们的广泛关注和研究，相关成果也证明了稀疏先验在图像盲复原问题上的优越性[-]。

    图像梯度是常用的稀疏先验之一，其主要利用自然图像梯度分布的稀疏性。最早由Weiss等人[-]发现并提出自然图像的梯度分布具有重尾特性，基于这一发现，Fergus等人[]提出可以采用高斯混合模型来拟合图像梯度分布，然后通过变分贝叶斯方法进行模糊核估计，最后采用Richardson-Lucy(RL)非盲复原方法来恢复清晰图像。但是，RL算法的引入导致复原图像产生明显的振铃效应。随后，Shan等人[]提出采用连续分段函数来拟合图像梯度的重尾分布，同时采用图像边缘信息来估计模糊核，并在图像的平滑区域施加平滑约束来进一步抑制振铃效应的产生。Cho等人[]进行了进一步的改进，他们提出在每次迭代过程中引入双边滤波来抑制图像噪声，然后采用Shock滤波进行图像增强，再基于阈值法对图像中的有效边缘进行选择。但是，受图像边缘细节的影响，该算法复原性能不稳定。

    Levin等人[]采用超拉普拉斯分布来对图像梯度分布进行拟合，然后通过最大后验概率(maximum a posteriori，MAP)模型对运动模糊下的退化图像进行复原，实现了较好的效果。Xu等人[]提出采用L0稀疏表示来描述图像显著边缘分布，实现了快速收敛和较好的图像复原效果。Wang等人[]提出了一种L0-L1范数相结合的稀疏表示方法，通过对图像及其梯度分别采用L0和L1范数来构造先验约束模型，交替复原出图像模糊核和显著边缘，最后由非盲复原方法恢复出清晰图像。

    除了基于迭代优化的图像盲复原方法，在过去十年间，基于深度学习的盲复原方法也得到了广泛关注和快速发展，许多基于深度神经网络的方法相继被提出[-]。Zhang等人[]提出了一种卷积神经网络(convolutional neural network，CNN)和递归神经网络(recurrent neural network，RNN)相结合的网络结构。Tao等人[]提出了一种基于编码器-解码器结构的网络。Li等人[]提出将神经网络与传统的总变分正则化手段相结合，使得算法兼具这两类盲复原算法的优势。综合来看，学习类的方法在图像复原效果上普遍优于传统迭代优化的方法，但也普遍存在对训练数据集具有依赖性的缺点。由于实际应用场景中图像退化形态的复杂性，基于学习训练的方法在训练数据集的充分性方面必然存在局限性。同时，相关研究[]指出，神经网络的结构通常是凭经验确定的，其实际功能性很难得到解释。

    1.2   本文研究内容

    本文的研究主要受两方面的启发。一方面，尽管在图像盲复原领域已经积累了大量的研究成果，现有算法的图像复原能力仍然有限，对清晰图像和模糊核进行更为准确的估计仍然是面临挑战的问题。另一方面，当前图像盲复原研究呈现出采用多种先验进行组合约束的趋势，这种组合策略可以有效提升图像复原效果。因此，对图像的先验表示进行深入研究，以发掘更有效的先验约束模型十分必要。

    在本文的研究中，提出了一种具有自适应特性的图像混合梯度稀疏先验约束模型。具体而言，我们提出可以将自然图像高阶梯度分布的稀疏性用于图像盲复原研究，通过高阶梯度和低阶梯度的结合来建立混合稀疏先验约束。同时，引入基于模糊测度的比例因子来自适应地调节两类梯度先验在正则项中的比例。该方法的主要贡献有以下两点：

    1) 通过研究图像高阶梯度的稀疏性，提出了一种低阶梯度和高阶梯度相结合的稀疏先验约束策略，并通过实验验证了该策略可以有效提升图像复原效果。

    2) 介绍了一种基于自适应的迭代优化手段。通过构造基于图像熵的比例因子来对图像迭代求解过程进行调节，使得算法具有更好的收敛性。

    2.   理论推导

    2.1   混合梯度稀疏先验模型的建立

    图像高阶梯度主要应用于图像去噪领域，其本质是利用了高阶微分算子的图像平滑能力。目前，高阶梯度已成功应用于基于总变分先验约束的图像复原方法中[-]，实验表明它可以有效改善由TV范数造成的阶梯效应。然而，在对图像高阶梯度分布进行统计分析的过程中，发现自然图像的高阶梯度比低阶梯度具有更明显的重尾分布特性。如图 1所示，黄色柱状图描述的高阶梯度分布比蓝色柱状图描述的低阶梯度分布具有更多零值成分，以及更明显的拖尾效应。这表明图像高阶梯度具有显著稀疏性，可用于构造稀疏先验正则项。由此开展将高阶梯度应用于稀疏正则化的研究。

    图 1 自然图像高阶梯度分布和低阶梯度分布。由水平梯度和垂直梯度可得到相似结论，图中仅对水平梯度分布进行展示
    图  1 

    自然图像高阶梯度分布和低阶梯度分布。由水平梯度和垂直梯度可得到相似结论，图中仅对水平梯度分布进行展示

    Figure  1. 

    The distributions of the low-order and high-order gradient maps of clear natural images. This regularity exists in both horizontal and vertical directions and only the horizontal gradient distribution is presented for example

    下载: 全尺寸图片 幻灯片

    基于迭代优化的图像盲复原方法可描述为如下目标函数优化问题：

    (f∗,h∗)=min

    其中：f表示目标图像，g表示退化图像，h表示模糊核， * 表示卷积符号。R(f)和R(h)分别表示图像正则项和模糊核正则项，它们对目标函数施加正则化约束，使得求解过程正确收敛。而正则项是通过选择合适的图像和模糊核先验来进行构造的，因此，先验的选择是图像盲复原研究的关键。

    Kotera等人[]通过研究证明了采用稀疏先验来描述一阶梯度的重尾分布有助于恢复图像显著边缘，同时能有效抑制噪声和振铃效应。基于这一结论，在研究初期考虑同时利用图像高阶梯度和低阶梯度的稀疏性，将两类梯度相结合得到稀疏正则项：

    R(f) = {\mathit{\Phi}} ({D_x}f, {D_y}f, {D_{xx}}f, {D_{xy}}f, {D_{yx}}f, {D_{yy}}f)\\ \;\;\;\;= {\left\| {\nabla f} \right\|^p} + {\left\| {{\nabla ^2}f} \right\|^p},

    其中：Dx和Dy分别是沿水平方向和垂直方向的一阶微分算子，Dxx，Dxy，Dyx和Dyy是二阶微分算子。▽2f表示图像一阶梯度的分布，▽2f表示二阶梯度分布，它们分别表示为

    \nabla f = \sqrt {{D_x}{f^2} + {D_y}{f^2}} ,
    {\nabla ^2}f = \sqrt {{D_{xx}}{f^2} + {D_{xy}}{f^2} + {D_{yx}}{f^2} + {D_{yy}}{f^2}} 。

    然而，实验结果表明，由这种先验约束模型无法得到理想的图像复原结果，而是倾向于产生模糊解。为了解决这一问题，引入一项可控参数ω来调整两类图像梯度在正则项中的比例，并通过实验来观察图像复原结果与ω间的关系。在实验过程中发现，采用不同模糊程度的样本图像时，使得复原效果最优化的参数ω值不同。具体而言，对模糊相对严重的图像，需要更高比例的{\nabla ^2}f先验约束，而对于模糊相对较轻的图像，则需要更高比例的\nabla f先验约束。不同梯度比情况下的图像复原效果如图 2所示。

    图 2 不同比例梯度约束下的图像复原效果。
    图  2 

    不同比例梯度约束下的图像复原效果。

    (a)，(b) 为模糊图像；(c)，(d)为图(a)复原图像；(e)，(f)为图(b)复原图像。
    Figure  2. 

    The restoration performance over different ratios of gradient regularizations.

    (a), (b) Blur images; (c), (d) Restoration results of (a); (e), (f) Restoration results of (b)
    下载: 全尺寸图片 幻灯片

    考虑到迭代优化过程的中间图像会逐渐趋于清晰(模糊程度逐渐降低)，由此提出一种辅助迭代优化策略，来对迭代优化进程中的参数ω进行自适应调节，具体的参数模型建立过程见3.1.1小节。在本文中，ω定义为如下形式：

    \omega = 1 + \frac{{{E^2}(f)}}{{{E^3}(f) + 1}},

    其中：E表示图像熵(Entropy)。然后通过对式(2)进行代换，获得本文方法的最终目标函数：

    ({f^ * }, {h^ * }) = \mathop {\min }\limits_{f, h} \frac{\gamma }{2}{\left\| {f * h - g} \right\|^2}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;+ {\alpha _f}\left( {{{\left\| {\nabla f} \right\|}^p} + \omega {{\left\| {{\nabla ^2}f} \right\|}^p}} \right) + {\alpha _h}R(h)。

    上式所描述的是一个高度非凸问题，为了对其进行优化求解，对f和h进行交替迭代更新。下面对具体的求解过程进行论述。

    2.2   目标函数求解

    2.2.1   h子问题

    在对图像模糊核h进行更新的过程中，将上一次迭代得到的f固定不变，同时引入辅助变量{v_h}{\rm{ = }}h，则h子问题可以转化为如下最小化问题：

    \mathop {\min }\limits_{h, {v_h}} \frac{\gamma }{2}{\left\| {Fh - g} \right\|^2} + {\alpha _h}R({v_h})\;\;\;\;\;{\rm{ s}}{\rm{.t}}{\rm{.\;\; }}{v_h}{\rm{ = }}h,

    其中：F是上一次迭代估计得到的清晰图像的频域表示。基于半二次惩罚技术[]，引入辅助变量{b_h}来对多变量的最小化问题进行高效求解。则目标函数可进一步改写为

    \mathop {\min }\limits_{h, {v_h}, {b_h}} \frac{\gamma }{2}{\left\| {Fh - g} \right\|^2} + {\alpha _h}R({v_h}) + \frac{{{\beta _h}}}{2}{\left\| {h - {v_h} - {b_h}} \right\|^2}。

    将上式对h取微分并将导数设为零，可以在频域中求得模糊核的闭式解，对变量{v_h}和{b_h}采用同样的原理进行求解。关于h子问题的求解过程总结为算法1，具体算法流程如下：

    算法1  h迭代求解

    输入和初始值：v_h^0 = b_h^0 = 0，循环终止条件Ttol，最大循环数N。

    Loop

    {h^{i + 1}} = {\mathcal{F}^{ - 1}}\left( {\frac{{\overline {\mathcal{F}({f^i})} \mathcal{F}(g) + \frac{{{\beta _h}}}{\gamma }\mathcal{F}(v_h^i + b_h^i)}}{{\overline {\mathcal{F}({f^i})} \mathcal{F}({f^i}) + \frac{{{\beta _h}}}{\gamma }I}}} \right),
    v_h^{i + 1} = {\rm{max}}\left( {{h^{i + 1}} - b_h^i - \frac{{{\alpha _h}}}{{{\beta _h}}}, 0} \right),
    b_h^{i + 1} = b_h^i - {h^{i + 1}} + v_h^{i + 1},
    i = i + 1,

    Until \frac{{\left\| {{h^{i + 1}} - {h^i}} \right\|}}{{\left\| {{h^{i + 1}}} \right\|}} \leqslant {T_{{\rm{tol}}}} or i > N，

    Return {h^i}。

    在迭代更新结束后，对估计所得的模糊核施加归一化约束和非负约束，该先验约束模型可描述为如下形式：

    \left\{ \begin{gathered} h(x, y) = \left\{ {\begin{array}{*{20}{c}} {h, \;\;h \geqslant 0} \\ {0, \;\;h < 0} \end{array}} \right. \\ \mathop \sum \limits_x \mathop \sum \limits_y h(x, y) = 1 \\ \end{gathered} \right.{\rm{ }}。
    2.2.2   f子问题

    与h子问题的求解过程相似，引入辅助变量：

    {v_x} = {D_x}f，{v_y} = {D_y}f，{v_{xx}} = {D_{xx}}f，
    {v_{xy}} = {D_{xy}}f，{v_{yx}} = {D_{yx}}f，{v_{yy}} = {D_{yy}}f，

    将目标函数转化为如下最小化问题：

    \mathop {\min }\limits_f \frac{\gamma }{2}{\left\| {fH - g} \right\|^2} + {\alpha _f}\mathit{\Phi } ({v_x}, {v_y}, {v_{xx}}, {v_{xy}}, {v_{yx}}, {v_{yy}})\\ {\rm{s.t.}}\;\; {v_x} = {D_x}f，{v_y} = {D_y}f，{v_{xx}} = {D_{xx}}f，\\ \;\;\;\;\;\;{v_{xy}} = {D_{xy}}f，{v_{yx}} = {D_{yx}}f，{v_{yy}} = {D_{yy}}f,

    其中：H是上一次迭代估计得到的图像模糊核的频域表示。同样地，引入半二次惩罚项后目标函数转化为如下表达式：

    \begin{array}{l} \mathop {\min }\limits_{f, a} \frac{\gamma }{2}{\left\| {fH - g} \right\|^2} + \frac{{{\beta _f}}}{2}{\left\| {{D_x}f - {v_x} - {a_x}} \right\|^2} \\ \;\;\;\;\; + \frac{{{\beta _f}}}{2}{\left\| {{D_y}f - {v_y} - {a_y}} \right\|^2} + \frac{{{\beta _f}}}{2}{\left\| {{D_{xx}}f - {v_{xx}} - {a_{xx}}} \right\|^2} \\ \;\;\;\;\; + \frac{{{\beta _f}}}{2}{\left\| {{D_{xy}}f - {v_{xy}} - {a_{xy}}} \right\|^2} + \frac{{{\beta _f}}}{2}{\left\| {{D_{yx}}f - {v_{yx}} - {a_{yx}}} \right\|^2} \\ \;\;\;\;\;+ \frac{{{\beta _f}}}{2}{\left\| {{D_{yy}}f - {v_{yy}} - {a_{yy}}} \right\|^2}。 \end{array}

    通过控制变量法对上式在频域进行求解，得到变量(f, a)的频域闭式解。关于f子问题的求解过程总结为算法2，具体算法流程如下：

    算法2  f迭代求解

    输入和初始值:

    v_x^0=v_y^0=v_{xx}^0=v_{xy}^0=v_{yx}^0=v_{yy}^0=a_x^0\\ \;\;\; =a_y^0=a_{xx}^0=a_{xy}^0=a_{yx}^0=a_{yy}^0=0，

    循环终止条件Ttol，最大循环数N。

    为了书写简单，令：

    \begin{gathered} {\mathcal{F}_1} = \overline {\mathcal{F}({D_x})} F(v_x^i + a_x^i) + \overline {\mathcal{F}({D_y})} F(v_y^i + a_y^i) \\ \;\;\;\;\;\;+ \overline {\mathcal{F}({D_{xx}})} F(v_{xx}^i + a_{xx}^i) + \overline {\mathcal{F}({D_{xy}})} F(v_{xy}^i + a_{xy}^i) \\ \;\;\;\;\;\;+ \overline {\mathcal{F}({D_{yx}})} F\left( {v_{yx}^i + a_{yx}^i} \right) + \overline {\mathcal{F}({D_{yy}})} F(v_{yy}^i + a_{yy}^i) \end{gathered}
    \begin{gathered} {\mathcal{F}_2} = \overline {\mathcal{F}({D_x})} F({D_x}) + \overline {\mathcal{F}({D_y})} F({D_y}) \\ + \overline {\mathcal{F}({D_{xx}})} F({D_{xx}}) + \overline {\mathcal{F}({D_{xy}})} F({D_{xy}}) \\ + \overline {\mathcal{F}({D_{yx}})} F({D_{yx}}) + \overline {\mathcal{F}({D_{yy}})} F({D_{yy}})。 \end{gathered}

    Loop

    {f^{i + 1}} = {\mathcal{F}^{ - 1}}\left( {\frac{{\overline {\mathcal{F}({h^i})} \mathcal{F}(g) + \frac{{{\beta _f}}}{\gamma }{\mathcal{F}_1}}}{{\overline {\mathcal{F}({h^i})} \mathcal{F}({h^i}) + \frac{{{\beta _f}}}{\gamma }{\mathcal{F}_2}}}} \right)，
    a_x^{i + 1} = a_x^i - {D_x}{f^{i + 1}} + d_x^{i + 1}，
    a_y^{i + 1} = a_y^i - {D_y}{f^{i + 1}} + d_y^{i + 1}，
    a_{xx}^{i + 1} = a_{xx}^i - {D_{xx}}{f^{i + 1}} + d_{xx}^{i + 1}，
    a_{xy}^{i + 1} = a_{xy}^i - {D_{xy}}{f^{i + 1}} + d_{xy}^{i + 1}，
    a_{yx}^{i + 1} = a_{yx}^i - {D_{yx}}{f^{i + 1}} + d_{yx}^{i + 1}，
    a_{yy}^{i + 1} = a_{yy}^i - {D_{yy}}{f^{i + 1}} + d_{yy}^{i + 1}，
    i = i + 1，

    Until \frac{{\left\| {{f^{i + 1}} - {f^i}} \right\|}}{{\left\| {{f^{i + 1}}} \right\|}} \leqslant {T_{{\rm{tol}}}} or i > N，

    Return {f^i}。

    2.2.3   v子问题

    在式(12)所描述的最小化问题中，关于变量v的求解是一个Lp范数下的非凸问题，目标函数表示为

    \begin{array}{l} (v_x^ * , v_y^ * , v_{xx}^ * , v_{xy}^ * , v_{yx}^ * , v_{yy}^ * )\\ = \arg {\rm{min}}{\alpha _f}{\left\| {{v_x}} \right\|^p} + {\alpha _f}{\left\| {{v_y}} \right\|^p} + {\alpha _f}\omega {\left\| {{v_{xx}}} \right\|^p} \\ + {\alpha _f}\omega {\left\| {{v_{xy}}} \right\|^p} + {\alpha _f}\omega {\left\| {{v_{yx}}} \right\|^p} + {\alpha _f}\omega {\left\| {{v_{yy}}} \right\|^p} \\ + \frac{{{\beta _f}}}{2}{\left\| {{D_x}f - {v_x} - {a_x}} \right\|^2} + \frac{{{\beta _f}}}{2}{\left\| {{D_y}f - {v_y} - {a_y}} \right\|^2} \\ + \frac{{{\beta _f}}}{2}{\left\| {{D_{xx}}f - {v_{xx}} - {a_{xx}}} \right\|^2} + \frac{{{\beta _f}}}{2}{\left\| {{D_{xy}}f - {v_{xy}} - {a_{xy}}} \right\|^2} \\ + \frac{{{\beta _f}}}{2}{\left\| {{D_{yx}}f - {v_{yx}} - {a_{yx}}} \right\|^2} + \frac{{{\beta _f}}}{2}{\left\| {{D_{yy}}f - {v_{yy}} - {a_{yy}}} \right\|^2}。 \end{array}

    对上式的求解可简化为最小化问题：

    {x^ * } = \arg \mathop {\min }\limits_w {\left\| x \right\|^p} + \frac{\alpha }{2}{\left\| {x - w} \right\|^p}

    的求解。在0 < p < 1的情况下，x不存在闭式解，可以通过查找表[]方法来快速得到x的近似解。

    3.   实验结果与分析

    3.1   实验参数设计

    3.1.1   自适应因子

    在2.1小节介绍了有关图像低阶梯度和高阶梯度在不同实验样本下需要不同比例的组合这一发现，同时，提出引入自适应因子来调整迭代更新过程中这两类先验约束的比例。考虑到采用数学表示对这一现象进行精确建模的困难性，采用数据拟合的方式对参数ω进行建模。

    为了实现自适应目的，首先需要对迭代优化过程的中间图像进行实时模糊度度量。图像熵(Entroy)是常用的图像模糊度指标之一，其计算过程简单且快速，本文将其选为图像模糊度度量指标。由此，对参数ω的建模过程即为对图像熵E和ω之间的相关关系进行建模的过程。我们采用Levin数据集[]中共计32幅模糊图像开展建模实验(参考图像已知)，在实验全过程中我们保持其他模型参数固定不变，仅对ω进行调整。对于每一个模糊图像样本，ω初始值设为1，调参标准为选择使得复原图像与参考图像间的结构相似性(SSIM)度量值更高的ω参数值。最终通过实验获得32组(E，ω)相关的数据点用于模型拟合(拟合过程详见附录)，得到模型如式(6)所示。

    通过对该模型进行分析，我们提出了关于参数ω如何对迭代优化过程产生影响的一种可能性解释。如图 3所示，随着图像模糊程度的增加，图像高阶梯度的重尾分布特性减弱，而低阶梯度受到的影响较小。在这种情况下，Lp范数下的稀疏先验约束模型需要提高对图像高阶梯度的约束程度，以增强高阶梯度先验的表达。而通过文中提出的自适应辅助策略，灵活调节了图像高阶梯度先验强度，进而提升了高阶梯度先验有效性，从而保护了算法的图像复原性能。需要特别强调的是，通过手动调参和数据拟合来确定数学模型的方式必然存在一定的误差，其准确性有待提升。但是，本文所介绍的参数自适应调节策略的主要意义在于通过实验验证了它能有效对图像复原效果进行改善，能更好地满足实际应用中对图像质量指标的要求。在未来的研究中，会针对这一问题进行更加深入的分析和验证。

    图 3 清晰图像和退化图像的高阶梯度分布和低阶梯度分布对比
    图  3 

    清晰图像和退化图像的高阶梯度分布和低阶梯度分布对比

    Figure  3. 

    An example of the variations of image gradients from clear to blurry (Please zoom in for a better view)

    下载: 全尺寸图片 幻灯片
    3.1.2   其他参数

    算法的迭代优化基于多尺度框架展开[]，这样做的目的是避免迭代陷入局部最优解。同时，在每轮迭代结束后将保真项的权重γ乘以1.5，即逐渐释放正则化所施加的约束，这有利于减弱复原图像中的阶梯效应[]。其他模型参数分别设置为：γ=1，αf=0.01，αh=10，βf=1，βh=104，p=0.3，Ttol=0.001，N=10。

    3.2   实验结果及数据分析

    实验使用BSDS[]和GOPRO[]两个图像数据集，对盲复原算法的复原能力进行实验分析和验证。BSDS数据集是一个合成图像数据集，它采用BSDS500数据集[]测试部分中的200幅参考图像和4个仿真模糊核来生成800幅模糊图像，并对每幅图像添加标准差为0.01的高斯噪声。GOPRO数据集是一个拍摄得到的真实图像数据集，主要包括运动模糊和高斯模糊退化。

    实验采用两项通用指标来对图像复原性能进行评价，分别为结构相似性(SSIM)指标和峰值信噪比(PSNR)指标。采用六种现有的图像盲复原算法与本文方法进行对比实验，包括Krishnan[]，Xu & Jia[]，Kotera[]，Hosseini[]，Li[]和Nah[]。其中，前四种是基于迭代优化框架的方法，后两种是基于深度学习框架的方法。

    3.2.1   算法有效性分析

    为了验证提出的盲复原方法的有效性，对正则项中不同先验约束类型进行消融实验，分为低阶梯度稀疏先验、混合梯度稀疏先验和混合梯度自适应稀疏先验三种方案。实验在BSDS数据集的后50%子集上展开，得到SSIM和PSNR指标的平均结果如表 1所示，实验示例如图 4所示。

    Measure Blurred ||▽f||p ||▽f||p+||▽2f||p ||▽f||p+ω||▽2f||p
    SSIM 0.5436 0.7110 0.7407 0.8280
    PSNR 25.1436 26.0087 26.6255 26.7176
    下载: 导出CSV 
    | 显示表格
    图 4 消融实验复原效果
    图  4 

    消融实验复原效果

    Figure  4. 

    An example of ablation experiment of the proposed regularization scheme

    下载: 全尺寸图片 幻灯片

    从实验结果可以得出，本文所介绍的混合梯度先验约束以及参数自适应策略可以有效提升图像复原能力。

    由表 1可知，本文所采用的正则化方案在性能指标综合评价上明显优于其他方案。由图 4可以得出，在保证显著边缘的情况下，本文方法可以更好地恢复图像色彩、纹理等细节，使得复原图像具有更好的视觉效果。

    3.2.2   仿真数据集实验分析

    在BSDS合成数据集上对本文方法开展对比实验，以此来评估本文方法相对于现有盲复原方法的复原性能。实验同样采用SSIM和PSNR两项指标来进行评价，最终的实验结果和复原图像示例分别如表 2和图 5所示，最佳指标值采用加粗进行强调。

    Metrics Li[] Nah[] Krishnan[] Xu & Jia[] Hosseini[] Ours
    SSIM 0.8303 0.8257 0.7270 0.7841 0.5404 0.8403
    PSNR 20.8716 25.3978 22.8246 24.4006 20.7021 25.9269
    下载: 导出CSV 
    | 显示表格
    图 5 不同方法在合成数据集上的复原结果
    图  5 

    不同方法在合成数据集上的复原结果

    Figure  5. 

    Examples of qualitative comparisons on the BSDS dataset[]. Columns from top to bottom: blurry image, Li, Nah, Krishnan, Xu and Jia, Hosseini, and ours

    下载: 全尺寸图片 幻灯片

    从对比结果看出，本文方法在复原性能上优于对比实验中采用的其他方法。文献[]、[]和[]所提出方法的复原结果中仍存在大尺度的图像模糊，而相比于文献[]、[]中的方法，本文方法不仅能很好的恢复图像细节，使得复原图像边缘更为锐利，还能有效保持图像的整体平滑度，使得图像视觉效果更佳。

    3.2.3   真实数据集实验分析

    为了进一步验证本文算法在实际应用中的有效性，在真实退化的图像数据集上进行性能评估。图 6展示了真实图像数据的盲复原结果，各方法的性能评估结果如表 3所示，最佳指标值采用加粗进行强调。

    图 6 不同方法在真实数据集上的实验结果
    图  6 

    不同方法在真实数据集上的实验结果

    Figure  6. 

    An example of real-life blurry image from the GOPRO dataset[]. Columns from left to right: blurry image, Li, Nah, Krishnan, Xu & Jia, Hosseini and ours

    下载: 全尺寸图片 幻灯片
    Metrics Li[] Nah[] Krishnan[] Xu & Jia[] Hosseini[] Ours
    SSIM 0.8419 0.8752 0.7901 0.8147 0.8152 0.8723
    PSNR 27.5433 28.2621 25.0031 26.6808 27.5458 30.4183
    下载: 导出CSV 
    | 显示表格

    由表 3可知，本文得到的平均PSNR指标优于其他方法，平均SSIM指标略小于Nah等人的方法，但明显优于其他相关方法。由图 6可以得到与图 5类似的结论，本文方法可以恢复出更锐利的边缘和更平滑的细节信息。综合来看，本文所提出的图像盲复原方法在主观视觉效果和性能评价指标上均处于相对领先水平。

    需要特别指出，从图 5和图 6的复原结果中可以观察到仍存在一定程度的振铃效应，在进一步的研究工作中对这一现象进行抑制。

    4.   结论

    本文提出了一种具有自适应特性的混合梯度稀疏先验约束模型。通过利用图像高阶梯度和低阶梯度分布的稀疏特性，构造了一种基于稀疏先验的混合梯度正则项，并引入自适应因子来对两类梯度先验的比例进行实时调节，以保证迭代优化求解更好地收敛。实验结果表明，本文方法在合成图像数据集和真实图像数据上均表现出较好的图像复原性能，可以很好地平衡复原图像细节的锐度和平滑度，使得图像主观视觉效果更佳。在多方面的算法性能评价中，本文方法的有效性也得到了对比和验证。

    根据本文的研究结论，图像高阶梯度的稀疏性可以很好地用于稀疏先验正则化研究中。下一步的研究将针对高阶梯度先验约束模型的构造以及振铃效应的抑制两方面展开。

    附录

    模型拟合通过SPSS统计分析工具的回归分析功能实现。根据待拟合数据点的空间分布规律，选择线性模型、对数模型和倒数模型作为候选模型，分别进行回归曲线估计，得到回归分析结果如表 4所示，回归曲线估计结果如图 7所示。

    方程式 模型摘要 参数评估
    R2 F df1 df2 显著性 常数 b1
    线性 0.937 10925.397 1 30 0.000 1.266 -0.018
    对数 0.969 43365.874 1 30 0.000 1.400 -0.133
    倒数模式 1.000 41328226.327 1 30 0.000 1.001 0.990
    因变量: ω自变量：E(Entropy)
    下载: 导出CSV 
    | 显示表格
    图 7 回归曲线估计图
    图  7 

    回归曲线估计图

    Figure  7. 

    Estimations of regression curves

    下载: 全尺寸图片 幻灯片

    由表 4可知，倒数模型的确定系数R2最大，且取值为1。因此，结合模型参数评估结果，可初步判定ω的表达式形如：

    {\omega _0} = 1 + \frac{1}{E}。

    在该模型基础上对ω分别进行如下定义：

    {\omega _1} = 1 + \frac{E}{{{E^2} + 1}},
    {\omega _2} = 1 + \frac{{{E^2}}}{{{E^3} + 1}},
    {\omega _3} = 1 + \frac{{{E^3}}}{{{E^4} + 1}}。

    然后，对不同ω定义下的盲复原算法性能进行分析。由Levin图像库[]得到各情况下复原图像与参考图像间的平均SSIM值，如表 5所示。

    Metrics ω0 ω1 ω2 ω3
    SSIM 0.7391 0.7616 0.7673 0.7467
    下载: 导出CSV 
    | 显示表格

    由表 5可知，ω2的情况下复原算法可取得最佳性能，因此，本文的研究中将ω定义为

    \omega = 1 + \frac{{{E^2}}}{{{E^3} + 1}}。

    • 基金

    基金项目: 

    国家重点研发计划资助项目 2016YFB0500201

    Funds: 

    National Key Research and Development Project 2016YFB0500201

    参考文献(24)

  • 参考文献

    [1]

    Weiss Y, Freeman W T. What makes a good model of natural images?[C]//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1-8.
    [2]

    Levin A, Weiss Y, Durand F, et al. Understanding and evaluating blind deconvolution algorithms[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1964-1971.
    [3]

    Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Trans Graph, 2006, 25(3): 787-794.

    DOI: 10.1145/1141911.1141956
    [4]

    Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J]. ACM Trans Graph, 2008, 27(3): 1-10.
    展开
    • 施引文献(10)

  • 期刊类型引用(7)

    1. 周雨荷，伏瑞敏，齐文雯. 基于在轨MTF测试的定量图像质量提升方法. 航天返回与遥感. 2024(02): 125-133 . 百度学术
    2. 董国强，卜丽静，赵瑞山，张正鹏. 多先验约束正则化模型图像复原方法. 测绘工程. 2023(03): 19-26 . 百度学术
    3. 姜新军. 基于变分贝叶斯的视觉散焦光图像快速盲复原算法. 吉林大学学报(信息科学版). 2023(03): 552-558 . 百度学术
    4. 苏智，熊兵，陈岭. 虚拟现实场景中模糊图像盲复原算法研究. 计算机仿真. 2023(10): 228-232 . 百度学术
    5. 冯雨欣，张冬冬，厉小润. 基于区域融合的小目标图像盲复原方法. 空天防御. 2023(04): 64-73 . 百度学术
    6. 刘利平，孙建，高世妍. 单图像盲去模糊方法概述. 计算机科学与探索. 2022(03): 552-564 . 百度学术
    7. 林峰，刘世杰，韩杰. 几种典型盲复原算法对光学遥感图像质量提升效果对比分析. 智能计算机与应用. 2021(12): 28-31+36 . 百度学术

    其他类型引用(3)

    • 版权信息

  • 版权信息

    版权属于中国科学院光电技术研究所，但文章内容可以在本网站免费下载，以及免费用于学习和科研工作
    • 关于本文

  • 关于本文

    DOI: 10.12086/oee.2021.210040
    引用本文
    Citation:
    徐宁珊, 王琛, 任国强, 黄永梅. 混合梯度稀疏先验约束下的图像盲复原[J]. 光电工程, 2021, 48(6): 210040. DOI: 10.12086/oee.2021.210040
    Citation:
    Xu Ningshan, Wang Chen, Ren Guoqiang, Huang Yongmei. Blind image restoration method regularized by hybrid gradient sparse prior. Opto-Electronic Engineering 48, 210040 (2021). DOI: 10.12086/oee.2021.210040
    导出引用
    出版历程
    • 收稿日期 2021-01-26
    • 修回日期 2021-05-05
    • 刊出日期 2021-05-31
    文章计量
    访问数(4216) PDF下载数(1230)
    分享:
    • 相关文章

  • 相关文章

    [1] 齐子文, 孔慧华, 李佳欣, 潘晋孝. 超拉普拉斯重叠组稀疏先验的稀疏角度CT重建 [J]. 光电工程, 2023, 50(10): 230167. DOI: 10.12086/oee.2023.230167
    [2] 马子杰, 赵玺竣, 任国强, 雷涛, 杨虎, 刘盾. 群稀疏高斯洛伦兹混合先验超分辨率重建 [J]. 光电工程, 2021, 48(11): 210299. DOI: 10.12086/oee.2021.210299
    [3] 周海蓉, 田雨, 饶长辉. 稀疏先验型的大气湍流退化图像盲复原 [J]. 光电工程, 2020, 47(7): 190040. DOI: 10.12086/oee.2020.190040
    [4] 李帅, 王伟明, 刘先红, 闫德立. 自适应分数阶算子的图像增强 [J]. 光电工程, 2019, 46(9): 180517. DOI: 10.12086/oee.2019.180517
    [5] 温佳, 刘明威, 崔军, 闫淑霞. 基于自适应阈值的干涉高光谱图像稀疏重建 [J]. 光电工程, 2019, 46(6): 180443. DOI: 10.12086/oee.2019.180443
    [6] 饶长辉, 朱磊, 张兰强, 饶学军, 鲍华, 孔林, 郭友明, 钟立波, 马学安, 李梅, 王成, 张小军, 樊新龙, 王晓云, 凡木文, 陈东红, 冯忠毅. 太阳自适应光学技术进展 [J]. 光电工程, 2018, 45(3): 170733. DOI: 10.12086/oee.2018.170733
    [7] 鲍华, 饶长辉, 田雨, 钟立波, 陈浩, 龙潇. 自适应光学图像事后重建技术研究进展 [J]. 光电工程, 2018, 45(3): 170730. DOI: 10.12086/oee.2018.170730
    [8] 戴云, 肖飞, 赵军磊, 康健, 杨彦荣, 赵豪欣, 张雨东. 自适应光学人眼像差调控及其应用 [J]. 光电工程, 2018, 45(3): 170703. DOI: 10.12086/oee.2018.170703
    [9] 姜文汉. 自适应光学发展综述 [J]. 光电工程, 2018, 45(3): 170489. DOI: 10.12086/oee.2018.170489
    [10] 吕洋, 宁禹, 马浩统, 孙全, 张烜喆, 刘文广, 许晓军. 计算光场自适应光学成像技术研究 [J]. 光电工程, 2018, 45(3): 180075. DOI: 10.12086/oee.2018.180075
  • Measure Blurred ||▽f||p ||▽f||p+||▽2f||p ||▽f||p+ω||▽2f||p
    SSIM 0.5436 0.7110 0.7407 0.8280
    PSNR 25.1436 26.0087 26.6255 26.7176
    文章中查看 下载
  • Metrics Li[16] Nah[11] Krishnan[23] Xu & Jia[7] Hosseini[24] Ours
    SSIM 0.8303 0.8257 0.7270 0.7841 0.5404 0.8403
    PSNR 20.8716 25.3978 22.8246 24.4006 20.7021 25.9269
    文章中查看 下载
  • Metrics Li[16] Nah[11] Krishnan[23] Xu & Jia[7] Hosseini[24] Ours
    SSIM 0.8419 0.8752 0.7901 0.8147 0.8152 0.8723
    PSNR 27.5433 28.2621 25.0031 26.6808 27.5458 30.4183
    文章中查看 下载
  • 方程式 模型摘要 参数评估
    R2 F df1 df2 显著性 常数 b1
    线性 0.937 10925.397 1 30 0.000 1.266 -0.018
    对数 0.969 43365.874 1 30 0.000 1.400 -0.133
    倒数模式 1.000 41328226.327 1 30 0.000 1.001 0.990
    因变量: ω自变量：E(Entropy)
    文章中查看 下载
  • Metrics ω0 ω1 ω2 ω3
    SSIM 0.7391 0.7616 0.7673 0.7467
    文章中查看 下载
[1]

Weiss Y, Freeman W T. What makes a good model of natural images?[C]//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1-8.
[2]

Levin A, Weiss Y, Durand F, et al. Understanding and evaluating blind deconvolution algorithms[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1964-1971.
[3]

Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Trans Graph, 2006, 25(3): 787-794.

DOI: 10.1145/1141911.1141956
[4]

Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J]. ACM Trans Graph, 2008, 27(3): 1-10.
[5]

Cho S, Lee S. Fast motion deblurring[J]. ACM Trans Graph, 2009, 28(5): 1-8.

http://www.dbpia.co.kr/article/2579382
[6]

Levin A, Weiss Y, Durand F, et al. Efficient marginal likelihood optimization in blind deconvolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011: 20-25.
[7]

Xu L, Zheng S C, Jia J Y. Unnatural L0 sparse representation for natural image deblurring[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013: 1107-1114.
[8]

Wang K, Shen Y, Xiao L, et al. Blind motion deblurring based on fused ℓ0-ℓ1 regularization[C]//Proceedings of the 8th International Conference on Image and Graphics, 2015: 1-10.
[9]

Kotera J, Šroubek F, Milanfar P. Blind deconvolution using alternating maximum a posteriori estimation with heavy-tailed priors[C]//Proceedings of the 15th International Conference on Computer Analysis of Images and Patterns, 2013: 59-66.
[10]

周海蓉, 田雨, 饶长辉. 稀疏先验型的大气湍流退化图像盲复原[J]. 光电工程, 2020, 47(7): 190040.

DOI: 10.12086/oee.2020.190040

Zhou H R, Tian Y, Rao C H. Blind restoration of atmospheric turbulence degraded images by sparse prior model[J]. Opto-Electron Eng, 2020, 47(7): 190040.

DOI: 10.12086/oee.2020.190040
[11]

Nah S, Kim T H, Lee K M. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017: 257-265.
[12]

Tao X, Gao H Y, Shen X Y, et al. Scale-recurrent network for deep image deblurring[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 8174-8182.
[13]

Yan R M, Shao L. Blind image blur estimation via deep learning[J]. IEEE Trans Image Process, 2016, 25(4): 1910-1921.

http://ieeexplore.ieee.org/document/7420686/
[14]

Zhang J W, Pan J S, Ren J, et al. Dynamic scene deblurring using spatially variant recurrent neural networks [C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 2521-2529.
[15]

Xu X Y, Pan J S, Zhang Y J, et al. Motion blur kernel estimation via deep learning[J]. IEEE Trans Image Process, 2018, 27(1): 194-205.

DOI: 10.1109/TIP.2017.2753658
[16]

Li Y L, Tofighi M, Geng J Y, et al. Efficient and interpretable deep blind image deblurring via algorithm unrolling[J]. IEEE Trans Comput Imaging, 2020, 6: 666-681.

DOI: 10.1109/TCI.2020.2964202
[17]

Lv X G, Song Y Z, Wang S X, et al. Image restoration with a high-order total variation minimization method[J]. Appl Math Mod, 2013, 37(16-17): 8210-8224.

DOI: 10.1016/j.apm.2013.03.028
[18]

穆绍硕, 张解放. 基于快速l1-范数稀疏表示和TGV的超分辨算法研究[J]. 光电工程, 2019, 46(11): 180499.

DOI: 10.12086/oee.2019.180499

Mu S S, Zhang J F. An anisotropic edge total generalized variation energy super-resolution based on fast l1-norm dictionary edge representations[J]. Opto-Electron Eng, 2019, 46(11): 180499.

DOI: 10.12086/oee.2019.180499
[19]

Goldstein T, Osher S. The split Bregman method for ℓ1-regularized problems[J]. SIAM J Imaging Sci, 2009, 2(2): 323-343.

DOI: 10.1137/080725891
[20]

Krishnan D, Fergus R. Fast image deconvolution using hyper-laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems, 2009: 1033-1041.
[21]

Perrone D, Favaro P. Total variation blind deconvolution: the devil is in the details[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014: 2909-2916.
[22]

Martin D, Fowlkes C, Tal D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings of the Eighth IEEE International Conference on Computer Vision. ICCV 2001, 2001: 416-423.
[23]

Krishnan D, Tay T, Fergus R. Blind deconvolution using a normalized sparsity measure[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition, 2011: 233-240.
[24]

Hosseini M S, Plataniotis K N. Convolutional deblurring for natural imaging[J]. IEEE Trans Image Process, 2019, 29: 250-264.

http://ieeexplore.ieee.org/document/8782833/
混合梯度稀疏先验约束下的图像盲复原
  • 图  1
  • 图  2
  • 图  3
  • 图  4
  • 图  5
  • 图  6
  • 图  7
混合梯度稀疏先验约束下的图像盲复原
  • Measure Blurred ||▽f||p ||▽f||p+||▽2f||p ||▽f||p+ω||▽2f||p
    SSIM 0.5436 0.7110 0.7407 0.8280
    PSNR 25.1436 26.0087 26.6255 26.7176
  • Metrics Li[16] Nah[11] Krishnan[23] Xu & Jia[7] Hosseini[24] Ours
    SSIM 0.8303 0.8257 0.7270 0.7841 0.5404 0.8403
    PSNR 20.8716 25.3978 22.8246 24.4006 20.7021 25.9269
  • Metrics Li[16] Nah[11] Krishnan[23] Xu & Jia[7] Hosseini[24] Ours
    SSIM 0.8419 0.8752 0.7901 0.8147 0.8152 0.8723
    PSNR 27.5433 28.2621 25.0031 26.6808 27.5458 30.4183
  • 方程式 模型摘要 参数评估
    R2 F df1 df2 显著性 常数 b1
    线性 0.937 10925.397 1 30 0.000 1.266 -0.018
    对数 0.969 43365.874 1 30 0.000 1.400 -0.133
    倒数模式 1.000 41328226.327 1 30 0.000 1.001 0.990
    因变量: ω自变量：E(Entropy)
  • Metrics ω0 ω1 ω2 ω3
    SSIM 0.7391 0.7616 0.7673 0.7467
  • 表  1

    消融实验算法性能比较

      1/5
  • 表  2

    不同方法在合成数据集上的实验结果

      2/5
  • 表  3

    不同方法在真实数据集上的实验结果

      3/5
  • 表  4

    模型总计及参数评估

      4/5
  • 表  5

    不同配置下算法在Levin图像库[6]上复原结果的平均SSIM值

      5/5
  • 期刊
    1. 光电进展
    2. 光电科学
    3. 光电技术
    4. 光电工程
    5. 光电研究评论
    6. 智能光电
    7. 光电+
    8. 光电
    9. 光电发现
Editorial Office
Add: No.1, Guangdian Avenue, Shuangliu, Chengdu, Sichuan 610209, PRC
E-mail: oee@ioe.ac.cn
Tel: 86-28-85100579
扫一扫，微信加关注
版权所有©中国科学院光电技术研究所　蜀ICP备05022581号   本系统由 北京仁和汇智信息技术有限公司 开发   Baidu Analytics