光电工程  2019, Vol. 46 Issue (6): 180149      DOI: 10.12086/oee.2019.180149     
变分贝叶斯框架中的多帧图像盲超分辨
闵雷1,2,3,4 , 杨平1,3,4 , 许冰1,3,4 , 刘永2     
1. 中国科学院自适应光学重点实验室,四川 成都 610209;
2. 电子科技大学光电科学与工程学院,四川 成都 610054;
3. 中国科学院光电技术研究所,四川 成都 610209;
4. 中国科学院大学,北京 100049
摘要:多帧图像超分辨理论是通过融合多帧低分辨率图像的信息来重构高空间分辨率图像。准确估计低分辨率图像的模糊核是进行有效信息融合的先决条件。传统超分辨方法通常假设模糊核已知且采用固定的高斯滤波模糊核,并且模型参数需要费时的手动调整。本文在变分贝叶斯框架下获得相应的超分辨算法,该算法对高分辨率图像、模糊核和模型参数同时进行最优估计。对比实验表明,模糊核自适应估计的盲超分辨方法总体性能优于现有的变分贝叶斯框架下的图像超分辨方法,特别是在高信噪比场景,推荐方法优势更加明显。
关键词盲超分辨    分辨率增强    变分贝叶斯    模糊核    Kullback-Leibler散度    
Multi-image blind super-resolution in variational Bayesian framework
Min Lei1,2,3,4, Yang Ping1,3,4, Xu Bing1,3,4, Liu Yong2     
1. Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;
2. School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu, Sichuan 610054, China;
3. Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;
4. University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: Multi-frame image super-resolution method fuses the information of multi-frame low-resolution images to reconstruct high-resolution images. For multi-frame image super-resolution, the accurate estimation of blur kernel of low-resolution image is prerequisite for efficiency information fusion. Traditional super-resolution method usually assumes a known blur kernel and uses the Gaussian filter blur kernel for the enhancement. It also needs to tune the parameters by time-consuming hand-tuning. The proposed method acquires the super-resolution method based on the variational Bayesian method. The high-resolution image, the blur kernel and the model parameters are estimated simultaneously and automatically in the optimal stochastic sense. Experiments and simulations demonstrate that the proposed blind super-resolution method based on blur kernel self-adaptive estimation outperforms the state-of-art super-resolution method in variational Bayesian framework, especially, for the high signal to noise ratio scenarios.
Keywords: blind super-resolution    resolution enhancement    variational Bayesian    blur kernel    Kullback-Leibler divergence    

1 引言

空间分辨率是评价图像质量的重要指标,高空间分辨率图像具有更低的噪声和更加丰富的细节信息,能够为后续的检测、识别和跟踪等提供更加有效的信息。因此,高空间分辨率的成像设备具有重要的实用价值。由奈克斯特采样定理,数字成像设备获取图像的空间分辨率主要由其光学子系统的带宽和图像传感器的空间采样率决定。因而增加成像设备采集图像空间分辨率最直接的方式是:1)增加光学子系统的通带宽度,例如采用大口径透镜、复杂透镜组合或采用新型材料的透镜[1]等;2)增加图像传感器的空间采样率,例如采用高采样率的CCD或CMOS器件。然而这些方法通常以增加成像系统的体积和/或成本为代价。有别于前面通过硬件方式获得高分辨率图像的方式,可以利用图像处理算法对低分辨率图像进行计算获得相应的高分辨率图像。随着计算设备性能的不断提升和计算成像理论的不断发展,这种信号后处理的分辨率增强方法提供了硬件成本和计算成本折衷的一个行之有效的解决方案。相应的增加数字图像的像素数和图像细节信息的图像处理算法,通常被称为图像超分辨算法。根据超分辨算法使用低分辨率图像数量的多少,进一步分为单帧图像超分辨和多帧图像超分辨。单帧图像超分辨通过训练数据学习低分辨率图像到高分辨率图像的映射关系,然后把该映射关系应用于待增强的低分辨率图像帧来提高空间分辨率。近年来主流的单帧图像超分辨算法是基于学习的超分辨方法[2-4]。单帧图像超分辨率适用于不易获得多帧图像的场景且具有放大倍数大等优点,但其性能依赖于训练数据集和算法的泛化能力,且未对同一场景多帧图像之间的相似信息进行挖掘和利用。另一方面,采用现有低分辨率成像设备通常容易获得同一场景的多幅图像,这些图像可以是同一成像设备获得的时间序列图像或者由复眼成像阵列获得的同一时刻的场景图像。为了描述方便,这里把前述两种场景获得的多幅图像进行编号且统称为图像帧。多帧图像超分辨[5-6]是一种有效的基于信号处理算法的分辨率增强方法,它利用多帧低分辨率图像之间由于相对运动和模糊带来的互补和冗余信息来降低噪声和增强图像的空间分辨率。本文主要论述多帧图像超分辨问题。多帧图像超分辨率算法最早由Tsai和Huang在频域上提出[7],现已广泛应用于监视、遥感、天文和医学成像等领域。

从高分辨率图像到低分率图像的退化过程通常使得待求高分辨率图像不唯一或使求解过程不稳定,基于图像超分辨的分辨率增强是典型的病态逆求解问题。因而图像超分辨的关键在于引入额外的正则化项或先验知识把病态问题转化为良态问题。由于频域上的分辨率超分辨方法不便于使用更易获得的空域上的先验知识,近年来空域上的超分辨方法成为研究热点。它首先建立待求高分辨率图像到低分辨率图像的成像退化模型,然后通过逆问题求解来获得相应的高分辨率图像。当前两类主流的空域上的超分辨方法分别在确定性的正则化框架[8-10]和统计推断框架[11-14]下获得。基于分层模型的变分贝叶斯理论[11-13]提供了一种有效的统计推断框架,能够方便地求解超分辨逆问题,其相应的模型参数无需实验尝试调整或手动调整,和待求的高分辨率图像一起在贝叶斯推断框架中获得最优估计。然而,现有基于分层模型的变分贝叶斯图像超分辨率算法都假设模糊核已知且各低分辨率图像都采用固定且相同的均值或高斯滤波器作为模糊核来进行高分辨率图像估计[11-13],这降低了增强算法的性能且限制了其实用性。对于单相机获得的序列图像,假设各个图像模糊核相同是合理的[12];但对于复眼相机阵列获取的图像集,其中各个图像的模糊核可以各不相同。本文推荐的盲超分辨算法把高分辨率图像和模糊核建模到成像退化模型中,并且通过变分贝叶斯框架来联合估计高分辨率图像、模糊核和模型参数,其相应的增强方法不仅适用于单相机获得的序列图像,而且对复眼相机阵列获得的图像集也有好的分辨率增强效果。仿真数据实验和真实数据实验验证了推荐方法的有效性。

2 分辨率增强的分层贝叶斯模型 2.1 成像退化模型

成像退化模型描述了由高分辨率图像到低分辨率图像的降质退化过程。这里采用矩阵-向量的描述方式,二维数字灰度图像由字典排序的方式逐列堆叠为列向量,图像处理算子用矩阵表示,图像处理表示为算子矩阵对图像向量的乘积。设低分辨率图像的大小为${N_{\rm h}} \times {N_{\rm v}}$${N_{\rm h}}$${N_{\rm v}}$分别是水平方向和垂直方向的像素数,低分辨率图像集和待求高分辨率图像分别为$\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L$x,其中,L是低分辨率图像帧数,${\mathit{\boldsymbol{y}}_k}$$N \times 1$的列向量,xPN×1的列向量,这里N=${N_{\rm h}} \times {N_{\rm v}}$$\sqrt P $为水平和垂直方向的放大因子。包含相对运动、模糊和下采样过程的成像退化过程建模[12]

${\mathit{\boldsymbol{y}}_k} = \mathit{\boldsymbol{D}}{\mathit{\boldsymbol{H}}_k}({\mathit{\boldsymbol{h}}_k}){\mathit{\boldsymbol{M}}_k}({\mathit{\boldsymbol{s}}_k})\mathit{\boldsymbol{x}} + {n_k} = {\mathit{\boldsymbol{B}}_k}\mathit{\boldsymbol{x}} + {n_k}, $ (1)

其中:${n_k}$$N \times 1$的加性观测噪声,$\mathit{\boldsymbol{D}}$N×PN的下采样矩阵,${\mathit{\boldsymbol{H}}_k}({\mathit{\boldsymbol{h}}_k})$是由模糊核${\mathit{\boldsymbol{h}}_k}$决定的PN×PN的模糊矩阵,各模糊核可以各不相同。这里假定图像模糊算子是线性空不变的,${\mathit{\boldsymbol{h}}_k}$是二维空域模糊核模板使用字典排序方式逐列堆叠的M×1的列向量。${\mathit{\boldsymbol{M}}_k}({\mathit{\boldsymbol{s}}_k})$是由相对运动向量${\mathit{\boldsymbol{s}}_k}$决定的PN×PN的运动矩阵。假设各个低分辨率图像相对于待求高分辨率图像之间是仅有平移和旋转的刚体运动,即${\mathit{\boldsymbol{s}}_k} = (s_k^1, s_k^{\rm{2}}, s_k^3) = {({\theta _k}, {c_k}, {d_k})^{\rm{T}}}$,其中${\theta _k}$为旋转角度,${c_k}$${d_k}$是水平和垂直方向的平移像素数,假定相对运动向量已知。矩阵${\mathit{\boldsymbol{B}}_k}$是相对运动、模糊和下采样合并得到的图像乘性退化矩阵。

2.2 观测噪声模型

假设观测噪声${n_k}$是均值为零、逆方差为${\beta _k}$的高斯白噪声,因而低分辨率观测图像${\mathit{\boldsymbol{y}}_k}$的条件分布为

$p({\mathit{\boldsymbol{y}}_k}|\mathit{\boldsymbol{x}}, {\beta _k}, {\mathit{\boldsymbol{h}}_k}) \propto \beta _k^{N/2}\exp \left[ { - \frac{{{\beta _k}||{\mathit{\boldsymbol{y}}_k} - {\mathit{\boldsymbol{B}}_k}\mathit{\boldsymbol{x}}||_2^2}}{2}} \right], $ (2)

其中:符号$ \propto $代表正比于,省略了相应的比例常数,$|| \cdot |{|_2}$表示向量2的范数,对向量$\mathit{\boldsymbol{a}} = {({a_1}, {a_2}, ..., {a_M})^{\rm{T}}}$$||\mathit{\boldsymbol{a}}|{|_2} = \sqrt {\sum\nolimits_{i = 1}^M {a_i^2} } $。进一步假设各个低分辨率帧的噪声相互独立,于是

$p(\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L|\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{\beta }}, \{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L) \propto \prod _{k = 1}^Lp({\mathit{\boldsymbol{y}}_k}|\mathit{\boldsymbol{x}}, {\mathit{\boldsymbol{\beta }}_k}, {\mathit{\boldsymbol{h}}_k}), $ (3)

其中$\mathit{\boldsymbol{\beta }} = ({\beta _1}, ..., {\beta _L})$为噪声逆方差向量。

2.3 图像先验模型

高分辨率图像的先验模型描述了高分辨率图像所属图像类别。本文采用总变差(total variation)模型[15],相应的表达式分别为

$p\left( {\mathit{\boldsymbol{x}}|\alpha } \right) \propto \alpha _{}^{\frac{{PN}}{2}}\exp [ - \alpha \sum\limits_{i = 1}^{PN} {\sqrt {{{(\Delta _i^{\rm{h}}(\mathit{\boldsymbol{x}}))}^2} + {{(\Delta _i^{\rm{v}}(\mathit{\boldsymbol{x}}))}^2}} } ], $ (4)

其中:$\alpha $是图像先验模型参数,$\Delta _i^{\rm{h}}(\mathit{\boldsymbol{x}})$$\Delta _i^{\rm{v}}(\mathit{\boldsymbol{x}})$是水平和垂直方向上的一阶差分算子在高分辨率图像x上第i个像素处的取值。

2.4 模糊核先验模型

实际中,模糊核并不是一个任意的函数,如果把二维空域模糊核看作一个图像,那么该图像也应该满足一定的光滑性限制。这里采用和对比两种常用的先验模型,即SAR(simultaneous autoregression)模型[11]和总变差模型[15]来指定模糊核所属的函数类别,相应的表达式分别为

$p({\mathit{\boldsymbol{h}}_k}|{\alpha _{{\mathit{\boldsymbol{h}}_k}}}) \propto \alpha _{{\mathit{\boldsymbol{h}}_k}}^{\frac{M}{2}}\exp [ - {\alpha _{{\mathit{\boldsymbol{h}}_k}}}||\mathit{\boldsymbol{C}}{\mathit{\boldsymbol{h}}_k}||_2^2], \\ p({\mathit{\boldsymbol{h}}_k}|{\alpha _{{\mathit{\boldsymbol{h}}_k}}}) \propto \alpha _{{\mathit{\boldsymbol{h}}_k}}^{\frac{M}{2}}\exp [ - {\alpha _{{\mathit{\boldsymbol{h}}_k}}}\sum\limits_{i = 1}^M {\sqrt {{{(\delta _i^{\rm{h}}({\mathit{\boldsymbol{h}}_k}))}^2} + {{(\delta _i^{\rm{v}}({\mathit{\boldsymbol{h}}_k}))}^2}} } ], $ (5)

其中:${\alpha _{{\mathit{\boldsymbol{h}}_k}}}$是模糊核先验模型参数,$\mathit{\boldsymbol{C}}$是空域拉普拉斯滤波器对应的矩阵,$\delta _i^{\rm{h}}({\mathit{\boldsymbol{h}}_k})$$\delta _i^{\rm{v}}({\mathit{\boldsymbol{h}}_k})$是水平和垂直方向上的一阶差分算子在二维空域模糊核${\mathit{\boldsymbol{h}}_k}$上第i个像素处的取值。

2.5 超先验参数模型

这里把观测噪声模型、图像先验模型和模糊核先验模型中的参数放在一起组成超先验参数集$\mathit{\boldsymbol{ \boldsymbol{\varTheta} }} = \{ {\beta _1}, ..., {\beta _L}, \alpha , {\alpha _{{\mathit{\boldsymbol{h}}_1}}}, ..., {\alpha _{{\mathit{\boldsymbol{h}}_L}}}\} $。作为分层贝叶斯模型的第二层,这里采用独立的Gamma分布对超先验参数集建模[16],即:

$ p(\mathit{\boldsymbol{ \boldsymbol{\varTheta} }}) = {\prod _{\theta \in \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}}}\mathit{\Gamma } {\rm{(}}\theta |{a_{\theta} }, {b_{\theta} }{\rm{)}}\\ \;\;\;\;\;\;\;\; = {\prod _{\theta \in \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}}}\frac{{b_\theta ^{{a_{\theta} }}}}{{\mathit{\Gamma } ({a_{\theta} })}}{\theta ^{{a_{\theta} } - 1}}\exp ( - {b_{\theta} }\theta ), $ (6)

其中${a_{\theta} }$${b_{\theta} }$是超先验参数$\theta $的Gamma分布参数。

3 分辨率增强算法

在上述分层贝叶斯模型的基础上,本节采用变分贝叶斯推断[16]获得相应的超分辨算法。贝叶斯推断基于如下后验概率分布:

$p(\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}, \{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L|\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L) = \frac{{p(\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}, \{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L, \{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L)}}{{p(\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L)}}, $ (7)

对于给定的低分辨率观测$\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L$$p(\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L)$为常数。对$p(\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}, \{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L, \{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L)$使用第2节中各个量的概率分布模型进一步表达为

$ p(\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}, \{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L, \{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L) = p(\{ {\mathit{\boldsymbol{y}}_k}\} _{k = 1}^L|\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}, \{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \cdot p(\{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L|\mathit{\boldsymbol{ \boldsymbol{\varTheta} }}) \cdot p(\mathit{\boldsymbol{x}}|\mathit{\boldsymbol{ \boldsymbol{\varTheta} }})p(\mathit{\boldsymbol{ \boldsymbol{\varTheta} }})。$ (8)

这里采用基于Kullback-Leibler散度的变分方法[12]求解$\mathit{\boldsymbol{x}}$$\mathit{\boldsymbol{ \boldsymbol{\varTheta} }}$$\{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^L$的后验分布。同样,由于总变差先验不易于数学处理,这里引入相应的辅助变量并使用majorization-minimizaton方法[17]进行相应的近似。同时,利用一阶统计量近似,即计算时仅考虑随机变量的均值,来进一步简化分析和计算。实验表明,该近似能够取得较好的分辨率增强效果。相应的超分辨算法各个量的计算公式如下:

$\mathit{\boldsymbol{x}} = {\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_\mathit{\boldsymbol{x}}}\sum\limits_{k = 1}^L {{\beta _k}{\mathit{\boldsymbol{B}}_k}^{\rm{T}}{\mathit{\boldsymbol{y}}_k}} , $ (9)
$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_\mathit{\boldsymbol{x}}^{ - 1} = \mathit{\boldsymbol{\alpha }}(\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{\rm{h}}^{\rm{T}}\mathit{\boldsymbol{W}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{\rm{h}}} + \mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{\rm{v}}^{\rm{T}}\mathit{\boldsymbol{W}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{\rm{v}}}) + \sum\limits_{k = 1}^L {{\beta _k}{\mathit{\boldsymbol{B}}_k}^{\rm{T}}{\mathit{\boldsymbol{B}}_k}} , $ (10)
$\mathit{\boldsymbol{W}} = diag(\{ 1/\sqrt {{{(\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_i^{\rm{h}}(\mathit{\boldsymbol{x}}))}^2} + {{(\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_i^{\rm{v}}(\mathit{\boldsymbol{x}}))}^2}} \} _{i = 1}^{PN}), $ (11)
$\alpha = \frac{{{a_\alpha } + PN/2}}{{{b_\alpha } + {\rm{trace}}({\mathit{\boldsymbol{W}}^{ - 1}})}}, $ (12)
${\beta _k} = \frac{{2{a_{{\beta _k}}} + N}}{{2{b_{{\beta _k}}} + ||{\mathit{\boldsymbol{y}}_k} - {\mathit{\boldsymbol{B}}_k}\mathit{\boldsymbol{x}}||_2^2}}, $ (13)
${\mathit{\boldsymbol{h}}_k} = {\beta _k}{\Sigma _{{\mathit{\boldsymbol{h}}_k}}}{\mathit{\boldsymbol{X}}_k}^{\rm{T}}{\mathit{\boldsymbol{D}}^{\rm{T}}}{\mathit{\boldsymbol{y}}_k}。$ (14)

对模糊核SAR先验模型,

$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1} = {\alpha _{{\mathit{\boldsymbol{h}}_k}}}{\mathit{\boldsymbol{C}}^{\rm{T}}}\mathit{\boldsymbol{C}} + {\beta _k}{\mathit{\boldsymbol{X}}_k}^{\rm{T}}{\mathit{\boldsymbol{D}}^{\rm{T}}}\mathit{\boldsymbol{D}}{\mathit{\boldsymbol{X}}_k}, $ (15)
${\alpha _{{\mathit{\boldsymbol{h}}_k}}} = \frac{{{a_{{\alpha _{{\mathit{\boldsymbol{h}}_k}}}}} + M/2}}{{{b_{{\alpha _{{\mathit{\boldsymbol{h}}_k}}}}} + ||\mathit{\boldsymbol{C}}{\mathit{\boldsymbol{h}}_k}||_2^2}}。$ (16)

对模糊核总变差先验模型,

$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1} = {\alpha _{{\mathit{\boldsymbol{h}}_k}}}(\mathit{\boldsymbol{\delta }}_{\rm{h}}^{\rm{T}}{\mathit{\boldsymbol{V}}_k}{\mathit{\boldsymbol{\delta }}_{\rm{h}}} + \mathit{\boldsymbol{\delta }}_{\rm{v}}^{\rm{T}}{\mathit{\boldsymbol{V}}_k}{\mathit{\boldsymbol{\delta }}_{\rm{v}}}) + {\beta _k}\mathit{\boldsymbol{X}}_k^{\rm{T}}{\mathit{\boldsymbol{D}}^{\rm{T}}}\mathit{\boldsymbol{D}}{\mathit{\boldsymbol{X}}_k}, $ (17)
${\mathit{\boldsymbol{V}}_k} = diag\left( {\left[ {1/\sqrt {{{(\delta _i^{\rm{h}}({\mathit{\boldsymbol{h}}_k}))}^2} + {{(\delta _i^{\rm{v}}({\mathit{\boldsymbol{h}}_k}))}^2}} } \right]_{i = 1}^M} \right), $ (18)
${\alpha _{{\mathit{\boldsymbol{h}}_k}}} = \frac{{{a_{{\alpha _{{\mathit{\boldsymbol{h}}_k}}}}} + M/2}}{{{b_{{\alpha _{{\mathit{\boldsymbol{h}}_k}}}}} + {\rm{trace}}(\mathit{\boldsymbol{V}}_k^{ - 1})}}, $ (19)

其中:${\rm{trace}}( \cdot )$为矩阵的迹算子,算法中${\mathit{\boldsymbol{X}}_k}$是在把${\mathit{\boldsymbol{H}}_k}({\mathit{\boldsymbol{h}}_k}){\mathit{\boldsymbol{M}}_k}\mathit{\boldsymbol{x}}$写为矩阵乘以向量hk的形式时产生的,即${\mathit{\boldsymbol{H}}_k}({\mathit{\boldsymbol{h}}_k}){\mathit{\boldsymbol{M}}_k}\mathit{\boldsymbol{x}} = {\mathit{\boldsymbol{X}}_k}{\mathit{\boldsymbol{h}}_k}$。对于Q×1向量adiag(a)表示以a为对角元的大小为Q×Q的对角矩阵。${\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{\rm{h}}}$${\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_{\rm{v}}}$是高分辨率图像在水平方向和垂直方向上的一阶差分算子矩阵。${\mathit{\boldsymbol{\delta }}_{\rm{h}}}$${\mathit{\boldsymbol{\delta }}_{\rm{v}}}$是第k个模糊核在水平方向和垂直方向上的一阶差分算子矩阵。$\mathit{\boldsymbol{W}}$${\mathit{\boldsymbol{V}}_k}$是高分辨率图像和第k个模糊核的由梯度模决定的空域自适应矩阵。对比上述模糊核SAR先验模型和总变差先验模型时对应的模糊核的估计公式可以发现,采用模糊核总变差先验模型时相应的计算公式中多了模糊核的空域自适应矩阵${\mathit{\boldsymbol{V}}_k}$,该矩阵根据模糊核的局部形状调整其在$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1}$中的权重大小,因而可以预期模糊核总变差先验模型对应的超分辨算法具有更好的性能。现总结变分贝叶斯盲超分辨迭代算法如下:

算法1  变分贝叶斯盲超分辨算法

给定超先验参数aαbα${a_{{\beta _k}}}$${b_{{\beta _k}}}$${a_{{\mathit{\boldsymbol{h}}_k}}}$${b_{{\mathit{\boldsymbol{h}}_k}}}$,初始化高分辨率图像${\mathit{\boldsymbol{\hat x}}^0}$,初始化模糊核$\mathit{\boldsymbol{h}}_k^0$,设n=1。

超分辨率迭代步骤如下:

1) 给定${\mathit{\boldsymbol{\hat x}}^{n - 1}}$$\mathit{\boldsymbol{h}}_k^{n - 1}$,由式(11),式(12),式(13)计算${\mathit{\boldsymbol{W}}^n}$${\alpha ^n}$$\beta _k^n$,对模糊核SAR先验模型,由式(16)计算$\alpha _{{\mathit{\boldsymbol{h}}_k}}^n$;对模糊核总变差先验模型,由式(18)和式(19)计算$\mathit{\boldsymbol{V}}_k^n$$\alpha _{{\mathit{\boldsymbol{h}}_k}}^n$

2) 对模糊核SAR先验模型,给定${\mathit{\boldsymbol{\hat x}}^{n - 1}}$$\beta _k^n$$\alpha _{{\mathit{\boldsymbol{h}}_k}}^n$,由式(14),式(15)计算$\mathit{\boldsymbol{h}}_k^n$$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1}$;对模糊核总变差先验模型,给定${\mathit{\boldsymbol{\hat x}}^{n - 1}}$$\beta _k^n$$\alpha _{{\mathit{\boldsymbol{h}}_k}}^n$$\mathit{\boldsymbol{V}}_k^n$,由式(14),式(17)计算$\mathit{\boldsymbol{h}}_k^n$$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1}$

3) 给定${\alpha ^n}$$\beta _k^n$${\mathit{\boldsymbol{W}}^n}$$\mathit{\boldsymbol{h}}_k^n$,由式(10)计算$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_\mathit{\boldsymbol{x}}^{ - 1}$,进而由式(9)计算${\mathit{\boldsymbol{\hat x}}^n}$

4) n=n+1,当收敛条件不满足时,返回步骤1)再依次进行计算直到收敛条件满足。

其中,由矩阵$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_\mathit{\boldsymbol{x}}^{ - 1}$$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1}$利用式(9)和式(14)计算${\mathit{\boldsymbol{\hat x}}^n}$$\mathit{\boldsymbol{h}}_k^n$可以看作线性方程组求解问题,为了避免直接对大规模矩阵求逆,采用Gaussian-Seidel理论或Jacobi理论迭代求解。这里采用文献[12]中的近似方法,即仅计算式(10)、式(15)和式(17)右边矩阵的对角元,用相应的对角元矩阵近似$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_\mathit{\boldsymbol{x}}^{ - 1}$$\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_{{\mathit{\boldsymbol{h}}_k}}^{ - 1}$,利用式(9)和式(14)计算$\mathit{\boldsymbol{h}}_k^n$${\mathit{\boldsymbol{\hat x}}^n}$时矩阵求逆运算由标量求逆运算取代。实验验证了该近似的有效性。另外,上述算法中涉及到大量大规模矩阵的相乘运算,这里矩阵表达的优势是形式上更加简洁和直观,便于看出各个量之间的相互联系。由于下采样、空域滤波和图像相对运动的局部特性,矩阵DHkMk都为稀疏矩阵,实际计算时无需进行大规模的矩阵乘积运算,而仅对高分辨率图像或低分辨率图像进行相应的局部运算。

4 仿真与实验

本节给出推荐方法在仿真实验数据和真实实验数据下进行分析,采用插值方法(bicubic interpolation,BBC)、SRCNN[2]、SAR[11]、TV[12]和NS[13]作为对比方法。这里采用像素值归一化的灰度图像进行实验,且选择第一帧为参考帧,对于彩色图像可以分别对各个图像通道进行相应的分辨率增强。由于平移、旋转和图像卷积滤波等运算涉及到图像边界问题,因此对各个低分辨率图像帧四周添加4个像素的辅助边,辅助边像素处的灰度值为低分辨率图像帧的灰度平均值。BBC和SRCNN是单帧超分辨方法,直接对参考帧进行分辨率增强,SRCNN相关实验使用开源代码[18]及其相应的参数设置。SAR、TV、NS和本文推荐方法为变分贝叶斯框架下的多帧图像超分辨方法,相应的初始化设置如下:设${a_{\theta} } = {b_{\theta} } = 0$$\theta \in \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}$;对真实数据实验,其运动向量sk由图像配准算法[19]计算;高分辨率图像x由参考帧的低分辨率图像插值初始化;本文推荐方法的模糊核hk由均值滤波模糊核初始化,其它方法的模糊核按相应的参考文献设置为3×3的均值滤波器。利用上述初始化,迭代求解高分辨率图像,并采用$||{\mathit{\boldsymbol{x}}^n} - {\mathit{\boldsymbol{x}}^{n - 1}}||_2^2/||{\mathit{\boldsymbol{x}}^{n - 1}}||_2^2 < {10^{ - 5}}$作为迭代停止条件,其中${\mathit{\boldsymbol{x}}^n}$${\mathit{\boldsymbol{x}}^{n - 1}}$是高分辨率图像第n$n - 1$次迭代结果。

4.1 性能评价

对于仿真实验数据,由于存在真实的高分辨率图像作为对比,文中采用峰值信噪比(PSNR)[20]和结构相似度(SSIM)[21]两个指标来定量评价图像的分辨率增强效果。

1) PSNR计算公式如下:

${R_{{\rm{PSNR}}}} = 10{\log _{10}}\frac{{NP}}{{||\mathit{\boldsymbol{\hat x}} - \mathit{\boldsymbol{x}}||_2^2}}, $ (20)

式中:x为真实图像,$\mathit{\boldsymbol{\hat x}}$为算法增强后的图像。

2) SSIM计算公式如下:

${M_{{\rm{SSIM}}}} = \frac{{(2{\mu _\mathit{\boldsymbol{x}}}{\mu _{\mathit{\boldsymbol{\hat x}}}} + {C_1})(2{\sigma _{x\mathit{\boldsymbol{\hat x}}}} + {C_2})}}{{(\mu _\mathit{\boldsymbol{x}}^2 + \mu _{\mathit{\boldsymbol{\hat x}}}^2 + {C_1})(\sigma _\mathit{\boldsymbol{x}}^2 + \sigma _{\mathit{\boldsymbol{\hat x}}}^2 + {C_2})}}, $ (21)

式中:$\mathit{\boldsymbol{x}}$$\mathit{\boldsymbol{\hat x}}$定义同上;${\mu _\mathit{\boldsymbol{x}}}$${\mu _{\mathit{\boldsymbol{\hat x}}}}$分别表示$\mathit{\boldsymbol{x}}$$\mathit{\boldsymbol{\hat x}}$的均值;${\sigma _\mathit{\boldsymbol{x}}}$${\sigma _{\mathit{\boldsymbol{\hat x}}}}$分别表示$\mathit{\boldsymbol{x}}$$\mathit{\boldsymbol{\hat x}}$的方差;${\sigma _{\mathit{\boldsymbol{x\hat x}}}}$表示$\mathit{\boldsymbol{x}}$$\mathit{\boldsymbol{\hat x}}$的协方差;${C_1}$${C_2}$是保证分母不为零的常数,取${C_1} = {C_2} = 0.01$

对于真实数据实验,为了便于进行分辨率增强的性能评价,采用相机采集的分辨率板图像作为低分辨率图像,最后把增强图像和分辨率板上的图像进行对比来评价相应方法的性能。

4.2 仿真数据实验结果与分析

图 1中大小为120×120的高分辨率图像作为真实图像x,利用式(1)生成5幅低分辨率图像。对式(1)中sk,设5幅图像在水平和垂直方向依次平移${(0,0)^{\rm{T}}}$, ${(0, {\rm{ }}0.5)^{\rm{T}}}$, ${(0.5, {\rm{ }}0)^{\rm{T}}}$, ${(1, {\rm{ }}0)^{\rm{T}}}$, ${(0, {\rm{ }}1)^{\rm{T}}}$个像素,依次旋转0°,3°,$ - 3^\circ $,5°,$ - 5^\circ $,这里以第一幅图像为参考图像帧,水平和垂直下采样倍数、水平和垂直放大因子都设置为$\sqrt P = 2$。模糊核函数采用两种设置:case 1,$\{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^5$都设置为大小为3×3,标准差为1的高斯模糊核;case 2,$\{ {\mathit{\boldsymbol{h}}_k}\} _{k = 1}^2$大小为3×3,标准差为0.5的高斯模糊核,$\{ {\mathit{\boldsymbol{h}}_k}\} _{k = 3}^4$大小为3×3,标准差为1的高斯模糊核,h5为3×3大小的均值滤波模糊核。对于加性观测噪声nk,这里依次加入信噪比为15 dB、35 dB、55 dB的高斯白噪声。

图 1 仿真实验数据真实高分辨率图像。(a) Lena;(b) EIA Fig. 1 The ground truth high-resolution image for simulated experiment data. (a) Lena; (b) EIA

在和其它超分辨方法对比之前,首先选用Lena图像来对比本文推荐的两种基于变分贝叶斯的盲超分辨算法,即算法1中模糊核采用SAR先验和总变差先验的盲超分辨算法。表 1表 2是对Lena图像、前述两种模糊核设置,在三种信噪比下PSNR和SSIM的实验结果。可以看出在所有场景,模糊核采用总变差先验的盲超分辨算法性能优于采用SAR先验的盲超分辨算法,且在高信噪比时性能优势更加明显。这里的实验结果和第3节的理论分析一致,即模糊核总变差先验模型的局部自适应特性有利于提升超分辨率算法的性能。在下面的实验中,我们把模糊核采用总变差先验模型的盲超分辨算法作为推荐方法和其他类型的超分辨算法进行比较。

表 1 模糊核SAR和总变差先验模型时推荐方法PSNR(dB)值比较 Table 1 Comparison of PSNR(dB) derived by SAR and TV prior blur kernel
模糊核模型 Case1 Case2
15 dB 35 dB 55 dB 15 dB 35 dB 55 dB
SAR先验 30.76 34.86 36.96 30.92 35.50 40.12
总变差先验 30.77 35.82 40.20 30.93 37.99 45.74

表 2 模糊核SAR和总变差先验模型时推荐方法SSIM值比较 Table 2 Comparison of SSIM derived by SAR and TV prior blur kernel
模糊核模型 Case1 Case2
15 dB 35 dB 55 dB 15 dB 35 dB 55 dB
SAR先验 0.9893 0.9959 0.9971 0.9899 0.9965 0.9971
总变差先验 0.9895 0.9967 0.9988 0.9899 0.9980 0.9997

表 3表 6是对Lena和EIA两幅图像,采用前述两种模糊核设置,在三种信噪比下推荐方法和对比方法的PSNR和SSIM的实验结果。可以看出,BBC和SRCNN性能最差,因为其仅使用了参考帧的图像来重构高分辨率图像;对不同的场景,BBC和SRCNN的性能各有优劣,这是因为SRCNN的性能由其神经网络参数决定,而神经网络参数由训练数据集决定,当仿真数据的退化模型和训练数据集的退化情况基本一致时,SRCNN相对于BBC具有性能优势,否则SRCNN根据学习到网络参数来复原图像反而降低了性能;在所有场景,推荐方法都优于SAR、TV和NS,低信噪比(15 dB)时,推荐方法略优于TV和NS,这是由于相比于模糊核的不准确性,此时噪声是制约增强性能的主要因素;但信噪比较高(35 dB和55 dB)时,模糊核的准确估计在提升增强性能中显得更加重要,此时推荐方法的PSNR和SSIM都大幅优于现有方法,PSNR超过对比方法至少1 dB~5 dB。特别是在模糊核设置2,信噪比为55 dB时,推荐方法相对于现有方法具有12 dB的性能增益。

表 3 模糊核设置1时,各图像分辨率增强方法PSNR(dB)值比较 Table 3 Comparison of PSNR(dB) derived by several image resolution enhancement methods for blur kernel case 1
Image SNR/dB BBC SRCNN SAR TV NS Proposed
Lena 15 25.50 24.08 29.85 30.76 30.76 30.77
35 26.84 27.03 33.60 34.45 33.96 35.82
55 28.86 27.07 34.04 34.94 34.29 40.20
EIA 15 17.12 17.23 23.18 24.04 23.77 24.16
35 17.54 18.29 25.29 26.96 25.40 30.50
55 17.55 18.31 25.36 27.01 25.47 34.73

表 4 模糊核设置1时,各图像分辨率增强方法SSIM值比较 Table 4 Comparison of SSIM derived by several image resolution enhancement methods for blur kernel case 1
Image SNR/dB BBC SRCNN SAR TV NS Proposed
Lena 15 0.9641 0.9515 0.9870 0.9895 0.9895 0.9895
35 0.9734 0.9748 0.9946 0.9951 0.9947 0.9967
55 0.9735 0.9750 0.9951 0.9960 0.9954 0.9988
EIA 15 0.8456 0.8680 0.9685 0.9746 0.9736 0.9752
35 0.8598 0.8955 0.9815 0.9873 0.9824 0.9943
55 0.8601 0.8959 0.9818 0.9874 0.9826 0.9978

表 5 模糊核设置2时,各图像分辨率增强方法PSNR(dB)值比较 Table 5 Comparison of PSNR(dB) derived by several image resolution enhancement methods for blur kernel case 2
Image SNR/dB BBC SRCNN SAR TV NS Proposed
Lena 15 25.78 23.63 29.95 30.91 30.80 30.93
35 27.22 26.25 33.12 33.99 33.58 37.99
55 27.24 26.29 33.54 34.17 34.11 45.74
EIA 15 17.43 16.23 22.98 24.02 22.64 24.04
35 17.88 16.97 25.00 25.81 25.57 32.72
55 17.89 16.98 25.06 25.92 25.76 38.04

表 6 模糊核设置2时,各图像分辨率增强方法SSIM值比较 Table 6 Comparison of SSIM derived by several image resolution enhancement methods for blur kernel case 2
Image SNR/dB BBC SRCNN SAR TV NS Proposed
Lena 15 0.9668 0.9476 0.9874 0.9899 0.9897 0.9899
35 0.9759 0.9707 0.9940 0.9950 0.9946 0.9980
55 0.9760 0.9710 0.9945 0.9952 0.9952 0.9997
EIA 15 0.8656 0.8513 0.9675 0.9733 0.9663 0.9734
35 0.8790 0.8738 0.9799 0.9836 0.9828 0.9966
55 0.8793 0.8741 0.9802 0.9840 0.9836 0.9990

为了进一步从视觉上对比各超分辨方法,图 2给出了EIA在35 dB高斯噪声、模糊核设置1时的对比图像,图 3给出了Lena在35 dB高斯噪声、模糊核设置2时的对比图像。可以看出,未增强的低分辨率图(a)在图像边缘具有明显的锯齿。在图 2中,BBC最为模糊,性能最差;SRCNN具有一定的模糊去除效果,但性能差于SAR、TV、NS和本文推荐方法;SAR,TV和NS由于模糊估计不准确,因而相对于推荐方法具有明显的边缘模糊,且SAR具有明显的振铃现象,NS的方法具有一定的过平滑效应。推荐方法在去除模糊和保持图像细节方面具有更好的折衷。在图 3中,同样BBC模糊最为明显,SAR和SRCNN在帽子边缘处表现出一定的振铃效应,且SAR和TV方法在图像边缘的黑框交界处出现了伪像,NS方法在帽缘处出现了异常的图像亮点。总体来说,本文推荐方法增强结果更加忠实于原图,具有更好的模糊去除效果以及噪声和伪像的抑制效果。

图 2 EIA图像35 dB高斯噪声,模糊核设置1,增强结果。(a)第一幅低分辨率图像;(b) BBC;(c) SRCNN;(d) SAR;(e) TV;(f) NS;(g)本文方法 Fig. 2 The enhancement result on EIA for 35 dB and blur kernel case 1. (a) First LR image; (b) BBC; (c) SRCNN; (d) SAR; (e) TV; (f) NS; (g) Proposed

图 3 Lena图像35 dB高斯噪声,模糊核设置2,增强结果。(a)第一幅低分辨率图像;(b) BBC;(c) SRCNN;(d) SAR;(e) TV;(f) NS;(g)本文方法 Fig. 3 The enhancement result on Lena for 35 dB and blur kernel case 2. (a) First LR image; (b) BBC; (c) SRCNN; (d) SAR; (e) TV; (f) NS; (g) Proposed
4.3 真实数据实验结果与分析

本节给出对真实图像数据进行超分辨的实验结果和相应的分析。为了便于评价分辨率增强方法的性能,这里采用相机采集获得的分辨率板图像作为低分辨率图像集合。相应的低分辨率图像为灰度图像,大小为60×110,设置第一帧为参考帧,放大因子$\sqrt P = 3$,即增强后的图像大小为180×330,一共使用9幅低分辨率图像来进行增强。对比方法的模糊核为3×3的均值滤波模糊核,低分辨率图像之间的运动向量由配准算法[19]估计。图 4给出了各个方法的分辨率增强结果。从数字10下面的线条区域可以看出,由于欠采样图 4(a)的线条区域出现了混叠,且黑白线条有明显的锯齿和间断;图 4(b)由于上采样锯齿效应得到缓解,但是由于仅使用了参考帧图像进行上采样,相对图 4(a)并未在实质上增加图像信息,线条区域的混叠效应并未消除且白色区域的噪声未得到有效抑制;相对图 4(b)BBC的结果,图 4(c)的对比度获得增强,但从光滑区域看其去噪效果较其它方法差,且出现了条纹不均匀现象;对图 4(d)~4(g),由于采用了多帧低分辨率图像的互补信息来进行图像超分辨,因而白色区域噪声得到抑制且黑白线条区域的混叠效应得到部分消除,图像分辨率得到增强。由于SAR、TV和NS方法中模糊核未得到准确估计,因而图 4(c)存在模糊效应,图 4(d)4(e)中图像模糊且线条粗细出现了不均匀的现象;本文推荐方法获得的增强图像边缘最为锐利,线条均匀,更加接近分辨率板上的真实图像。

图 4 分辨率板图像增强结果。(a)第一幅低分辨率图像;(b) BBC;(c) SRCNN;(d) SAR;(e) TV;(f) NS;(g)本文方法 Fig. 4 The enhancement result on resolution chart image. (a) First LR image; (b) BBC; (c) SRCNN; (d) SAR; (e) TV; (f) NS; (g) Proposed
5 结论

变分贝叶斯图像超分辨理论能够有效地进行图像分辨率增强,传统的基于变分贝叶斯的多帧图像超分辨方法通常假设模糊核已知且采用固定的均值或高斯滤波模糊核,因而不准确的模糊核通常造成伪像、图像模糊、对比度降低等图像失真。推荐方法把模糊核估计引入分层变分贝叶斯超分辨率框架,把模糊核、模型参数以及高分辨率图像在变分贝叶斯框架下统一进行估计。仿真数据实验和真实数据实验表明,模糊核自适应估计的多帧图像盲超分辨方法总体性能优于对比方法,能够更加有效地抑制噪声、去除伪像以及增强图像细节信息。特别是在模糊核估计准确性为制约性能主要因素的高信噪比场景,推荐方法优势更加明显。

参考文献
[1]
Guo Y H, Pu M B, Ma X L, et al. Advances of dispersion-engineered metamaterials[J]. Opto-Electronic Engineering, 2017, 44(1): 3-22.
郭迎辉, 蒲明博, 马晓亮, 等. 电磁超构材料色散调控研究进展[J]. 光电工程, 2017, 44(1): 3-22 [Crossref]
[2]
Dong C, Loy C C, He K M, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307. [Crossref]
[3]
Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, 2017: 105-114.
[4]
Wang R G, Wang Q H, Yang J, et al. Image super-resolution reconstruction by fusing feature classification and independent dictionary training[J]. Opto-Electronic Engineering, 2018, 45(1): 170542.
汪荣贵, 汪庆辉, 杨娟, 等. 融合特征分类和独立字典训练的超分辨率重建[J]. 光电工程, 2018, 45(1): 170542 [Crossref]
[5]
Nasrollahi K, Moeslund T B. Super-resolution: a comprehensive survey[J]. Machine Vision and Applications, 2014, 25(6): 1423-1468. [Crossref]
[6]
Yue L W, Shen H F, Li J, et al. Image super-resolution: the techniques, applications, and future[J]. Signal Processing, 2016, 128: 389-408. [Crossref]
[7]
Tsai R Y, Huang T S. Multi-frame image restoration and registration[M]//Huang T S. Advances in Computer Vision and Image Processing. Greenwich: JAI Press, 1984: 317-339.
[8]
Shen H F, Peng L, Yue L W, et al. Adaptive norm selection for regularized image restoration and super-resolution[J]. IEEE Transactions on Cybernetics, 2016, 46(6): 1388-1399. [Crossref]
[9]
Zeng X Y, Yang L H. A robust multiframe super-resolution algorithm based on half-quadratic estimation with modified BTV regularization[J]. Digital Signal Processing, 2013, 23(1): 98-109. [Crossref]
[10]
Huang S Y, Sun J, Yang Y, et al. Multi-frame super-resolution reconstruction based on gradient vector flow hybrid field[J]. IEEE Access, 2017, 5: 21669-21683. [Crossref]
[11]
Molina R, Vega M, Abad J, et al. Parameter estimation in Bayesian high-resolution image reconstruction with multisensors[J]. IEEE Transactions on Image Processing, 2003, 12(12): 1655-1667. [Crossref]
[12]
Babacan S D, Molina R, Katsaggelos A K. Variational Bayesian super resolution[J]. IEEE Transactions on Image Processing, 2011, 20(4): 984-999. [Crossref]
[13]
Villena S, Vega M, Molina R, et al. A non-stationary image prior combination in super-resolution[J]. Digital Signal Processing, 2014, 32: 1-10. [Crossref]
[14]
Liu C, Sun D Q. On Bayesian adaptive video super resolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 346-360. [Crossref]
[15]
Ng M K, Shen H F, Lam E Y, et al. A total variation regularization based super-resolution reconstruction algorithm for digital video[J]. EURASIP Journal on Advances in Signal Processing, 2007, 2007: 074585. [Crossref]
[16]
Beal M J. Variational algorithms for approximate Bayesian inference[D]. London, UK: University College London, 2003.
[17]
Bioucas-Dias J M, Figueiredo M A T, Oliveira J P. Total variation-based image deconvolution: a majorization-minimization approach[C]//Proceedings of 2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings, Toulouse, 2006: 861-864.
[18]
Dong C, Loy C C, He K M, et al. Image super-resolution using deep convolutional networks[EB/OL]. http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html.
[19]
Lucas B, Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence, San Francisco, 1981: 674-679.
[20]
Wang Z, Bovik A C. Mean squared error: love it or leave it? A new look at signal fidelity measures[J]. IEEE Signal Processing Magazine, 2009, 26(1): 98-117. [Crossref]
[21]
Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. [Crossref]