Publishes major engineering progresses of China in optics and electronics
Scopus CSCD 中文核心期刊
高级搜索
高级检索
当前位置： 光电工程 2018 Vol. 45 No. 1 170542
科研论文

融合特征分类和独立字典训练的超分辨率重建

Image super-resolution reconstruction by fusing feature classification and independent dictionary training

DOI: 10.12086/oee.2018.170542
2018-1
2018 Vol. 45, No. 1
在线预览 下载(3.6MB) 引用本文 XML下载 版权信息 AI智能辅读 AI智能问答 AI思维导图
  • 8434 访问数
  • 3566 下载数
  • 15 引用数
    摘要

  • 摘要

    超分辨率重建技术在重构图像细节、改善图像视觉效果方面具有重要作用。为进一步提高图像的重建质量，提出了一种有效的超分辨率重建方法。首先提取图像块的几何特征来构造决策树，以期通过监督的方式进行图像块分类。然后针对不同类型的图像块训练集，分别基于K-SVD独立训练相应的高分辨率字典和低分辨率字典。最后为了保证图像块的准确和快速重建，对高分辨率训练集和低分辨率训练集的系数求解映射矩阵，其用于在重建阶段将低分辨率稀疏系数映射为高分辨率稀疏系数以达到重建目的。实验结果表明，本文的方法与其他经典的超分辨率重建方法相比，在重建效果方面具有明显提高。

    关键词

    Abstract

    Super-resolution reconstruction plays an important role in reconstructing image detail and improving image visual effects. A new effective super-resolution method is proposed. Firstly, we extract the geometric features of the image patch to construct the decision tree, which will be used in patch classification in a supervised way. Then, we train the high-resolution and low-resolution dictionaries based on K-SVD independently for different types of training sets. Finally, we solve the mapping matrix for the coefficients between the high-resolution and low-resolution training set, which are used to map the low-resolution coefficients to high-resolution coefficients during the reconstruction phase to ensure accurate and fast reconstruction of the image patches. The experimental results show that the proposed method has a significant improvement in the reconstruction effect compared with other classic methods.

    Keywords

    • HTML全文

  • 1.   引言

    超分辨率重建算法主要可以分为三类：基于插值、重建和学习的算法。基于插值[-]的算法主要利用待重建像素和邻域像素之间的关系来推测待重建像素的值。插值算法可以实现图像的实时重建，但是重建出的图片往往过于平滑，很难得到较好的效果。基于重建[-]的算法一般基于重建模型加入先验知识，使得基于重建的算法在边缘保持和人工效应的抑制方面有着较好的效果，但是高频细节信息往往还是不能有效地被重建出来，低分辨率图像和高分辨率图像缩放尺寸越大，重建效果越差。与前两种方法相比，由于基于学习的方法能够产生低分辨率图像中所没有的高频细节信息，因此，近年来此类方法吸引了众多研究者的关注。在此方法中，通过学习低分辨率图像和对应的高分辨率图像之间的关系，来预测目标高分辨率图像。Yang[]等首先提出了利用字典进行超分辨率重建的方法，即分别利用高低训练集训练相应的高低分辨率字典，然后用不同的字典原子组合来表示任何一种图像块的几何结构。在这类超分辨率重建的方法中，非常关键的阶段就是字典训练过程，许多研究者对此展开研究并作出相应改进。Yang[]等提出了联合字典训练，其利用单一字典训练的模式将低分辨率和高分辨率字典放在一起进行训练得到相应的字典对。Yang[]等利用低分辨率字典对低分辨率训练集进行稀疏表示并优化高分辨率字典，然后利用低分辨率训练集自身的几何信息优化低分辨率字典，不断迭代直到获得较好的高低分辨率字典对。Xu[]等基于K-SVD方法在稀疏编码阶段利用高低分辨率字典对相应训练集轮流稀疏编码的方法，迭代式地训练出高低分辨率字典对。Zeyde[]和Timofte[-]等利用K-SVD[]方法训练出低分辨率字典，然后基于系数相等的原则，利用最小二乘的方式求解得到高分辨字典。

    图 1 超分辨率重建过程图
    图  1 

    超分辨率重建过程图

    Figure  1. 

    The flowchart of super-resolution reconstruction

    下载: 全尺寸图片 幻灯片

    图 1展示了本文方法的全局重建流程，首先提取图像Y通道的分量，并在插值重建后，分割图像块，提取相应特征。然后将特征输入到决策树中进行分类，针对每一类别训练字典并重建图像获得高频分量，最后将重建出的高频分量与Cb和Cr通道的分量进行融合，获得最终的高分辨率重建图像。

    图像超分辨率重建技术是指从输入的一幅或多幅低分辨率图像重建出高分辨率图像的技术。由于高分辨率图像具有更加丰富而细腻的图像细节信息，故超分辨率重建技术被广泛用于卫星遥感[]，医疗诊断[]等领域。

    另一方面，经典的字典训练是利用整个训练集直接训练高低分辨率字典对，这两类字典中的原子无差别地排列在字典之中，这样会造成各种类型的特征原子在重建图像块的过程中相互影响。所以本文依据图像块自身固有的几何特征进行分类，采用分类重建的思想进一步优化。Yang []，Yang []和Dong []利用K-means算法将训练集进行分类获得K对字典，从实验结果上看，利用K对字典进行重建取得了更加理想的重建结果。然而由于K-means的非监督性，难以取得更加理想的分类效果。本文将图像的几何特征加入到分类算法中，设计了一种基于决策树的监督型分类算法。实验表明，与其他经典的重建算法相比，本文提出的方法在视觉感官和评价指标方面都具有明显的提高。

    以上字典训练方式均是基于高低分辨率系数不变性原则，这样训练的字典往往对于字典原子的特征表达能力具有一定的限制性。事实上，这两种稀疏系数可能并不是严格相等的。为了能够以一种更加准确并且灵活的方式训练字典，让字典原子能够充分发挥相应的表达能力，本文基于0范数原则，利用K-SVD方法进行独立字典训练以期能够重建出质量更好的图像。

    2.   数据准备与训练集分类

    2.1   数据预处理

    最后，特征向量的首尾相接造成了低分辨率特征向量的维度过大，为了加快超分辨率重建的效率，在保持原图像特征块99.99%的能量下，利用主成分分析(principal component analysis，PCA)方法进行降维，并将结果作为最终的低分辨率训练集。

    其次，需要得到两类图像用于字典训练——高分辨率和低分辨率图像，所以对图像X以采样因子s(s≥1)进行下采样得到图像Xs，然后对Xs以采样因子s进行上采样得到低分辨率图像Xl，将图像Xl按照从上到下，从左到右的次序进行分块得到 ${X_1} = \left\{ {x_{\rm{l}}^1, x_{\rm{l}}^2, \ldots, x_{\rm{l}}^N} \right\}$ 。另一方面，提取图像X的高频作为高分辨率图像Xh，提取方法为：Xh=X-Xl，然后按照同样的方式对Xh进行分块得到 ${X_{\rm{h}}} = \left\{ {x_{\rm{h}}^1, x_{\rm{h}}^2, \ldots, x_{\rm{h}}^N} \right\}$ 。

    为了后期能够将训练集用于分类和字典训练中，即能够更好地计算块间距离和增加稀疏编码的准确度，根据下面的滤波器，对每个低分辨率图像块提取四组特征数据，并将这4个特征数据首尾依次相接形成该图像块的一个特征向量: ${f_1} = \left[ {1, 0, 0, -1} \right]$ ， ${f_2} = \left[ {1, 0, 0, -2, 0, 0, 1} \right]$ ， ${f_3} = f_1^{\rm{T}}$ ， ${f_4} = f_2^{\rm{T}}$ ，式中f1和f2是分别用于求取图像水平方向的一阶和二阶导数，f3和f4是其对应的转置，分别用于求取图像垂直方向的一阶和二阶导数。

    首先，与色度和饱和度相比，人眼对亮度具有更强的敏感性，所以只对亮度通道进行超分辨率重建，即对原始图像进行提取Y通道得到图像X。

    2.2   利用决策树分类训练集

    G=[g1,g2,⋯,gN]T。
    gk=∇f(xi,yj)=[f′x(xi,yj),f′y(xi,yj)],
    图 2 分类决策树
    图  2 

    分类决策树

    Figure  2. 

    The decision tree of classification

    下载: 全尺寸图片 幻灯片

    1) 平滑块最大的特点在于块内像素值差别不大，这导致平滑块的方差τ与另外两者相比较小，因此将方差作为一个划分训练集类别的图像特征。

    假设训练集为 $X = \left\{ {{x_1}, {x_2}, \ldots, {x_N}} \right\}$ ，则对于每个图像块xi都对应着一条特征记录 ${x_i} = \left[ {{\tau _i}, {\gamma _i}, {\theta _i}} \right]$ 。从树中可以看出，首先利用方差τi对训练集进行分类，若τi≤τ*，则图像块xi为平滑块，其中τ*为某个常数临界方差值；否则利用分类信息γi进一步分类随机方向块和方向主导块，若γi≤γ*，则方向块xi为随机方向块，γ*为特征γ的分类临界值；否则利用角度θi将方向主导块依据角度划分到不同的类别。

    γ=σ1−σ2σ1+σ2,

    2) 随机方向块和方向主导块最大的不同在于块内是否具有明显的边缘方向，很难通过简单的统计信息对二者进行区分，文中借鉴了Feng[]中分解梯度场的思想来提取块内纹理的方向。若用f(x, y)表示一个图像，则此图像在点(xi, yj)处的梯度为：

    在对训练集中的图像进行分块之后，提取图像块自身的几何特征并依此构造分类决策树。本文将图像块大致归为3类：平滑块、方向主导块和随机方向块，其中平滑块是指训练集中几何结构平滑、块中像素值相差不大的块；方向主导块是指训练集中具有某个明确方向的块，这种图像块多出现于图像的纹理过渡部分；随机方向块介于上述两种块中间，它既没有前者的平滑的纹理，也没有后者明确的方向，往往具有多个方向或者异于块中整体纹理的随机点，具体分析如下：

    由式(3)可得γ∈[0, 1]，若两种能量值相差越大，图像特征γ越大，则图像块为方向主导块的概率越大；反之，图像块为随机方块的概率越大。

    对此梯度场G进行奇异值分解(SVD)可以得到：G=USVT，矩阵S中的奇异值σ1和σ2代表了梯度场主次方向的能量值，V中第1列v1和第2列v1分别为梯度场的主次方向。根据能量值σ1和σ2定义用于图像块的梯度特征γ为

    式中：v1(x)和v1(y)分别为梯度场主方向的相应坐标值。

    3) 对于方向主导块来讲，将梯度场的主方向旋转π/2即为块中纹理的主方向，本文进一步利用图像块主方向与水平方向的角度θ对方向主导块进行分类，同时将角度θ作为建立决策树的特征，角度θ计算公式为：

    式中： ${{f'}_x}\left({{x_i}, {y_j}} \right)$ 和 ${{f'}_y}\left({{x_i}, {y_j}} \right)$ 分别代表图像f(x, y)在x和y方向的偏导，1≤k≤N，N为图像块中像素个数，则对于每个图像块的局部梯度场 $\mathit{\boldsymbol{G}} \in {R^{n \times 2}}$ 为

    图 2为建立的经验决策树，其中在利用角度对方向主导块更细粒度的分类时，依据步长π/6将区间[0, π]进行划分，使得相应方向主导块能够落入相应的类别下，具体分类方式为：

    θ=arctan⁡v1(y)v2(x)+π2,

    3.   独立字典训练与图像重建

    3.1   字典独立训练

    不断重复步骤2)和步骤3)，直到满足迭代停止条件为止。此时获得了低分辨率字典 $D_{\rm{l}}^k$ 和相应的稀疏系数矩阵 $\mathit{\boldsymbol{A}}_{\rm{l}}^k$ ，以同样的方式依据式(6)训练高分辨训练集得到高分辨率字典 $D_{\rm{h}}^k$ 和系数矩阵 $\mathit{\boldsymbol{A}}_{\rm{h}}^k$ ，其中在进行稀疏编码时利用式(8)。

    对于给定的训练集 $X_{\rm{l}}^k = \left\{ {x_1^{{\rm{l}}, k}, x_2^{{\rm{l}}, k}, \ldots, x_N^{{\rm{l}}, k}} \right\}$ ，利用当前低分辨率字典 $D_{\rm{l}}^k$ 对每个训练项基于式(7)进行稀疏编码，最后将稀疏系数按列依次组合得到系数矩阵 $\mathit{\boldsymbol{A}}_{\rm{l}}^k$ 。本文利用OMP追踪算法来解决式(7)中0范数的稀疏表示问题，具体的稀疏编码模型为：

    其中：U为左奇异向量u组成的矩阵，V为右奇异向量v组成的矩阵，Λ为k个奇异值σ组成对角阵。奇异值σj越大，代表子项 ${\mathit{\boldsymbol{u}}_j}{\sigma _j}\mathit{\boldsymbol{v}}_j^{\rm{T}}$ 与矩阵 $E_{\rm{R}}^i$ 差别越小，表示所占能量越大，因此选择奇异值最大的那一项 ${\mathit{\boldsymbol{u}}_m}{\sigma _m}\mathit{\boldsymbol{v}}_m^{\rm{T}}$ 来更新字典原子及其系数，即用um更新di，用 ${\sigma _m}\mathit{\boldsymbol{v}}_m^{\rm{T}}$ 依据相应索引ωi更新 $\mathit{\boldsymbol{A}}_{\rm{T}}^i$ 。

    2) 稀疏编码阶段

    ERi=UΛVT=∑j=1kujσjvjT,

    式(5)和式(6)表明在满足稀疏度T的条件下，训练出的字典需要能够最优近似训练集中的所有块，使得均方误差项达到最小。为了达到这个目的并训练出特征表达能力更准确、更完善的字典，低分辨率字典 $D_{\rm{l}}^k$ 和高分辨率字典 $D_{\rm{h}}^k$ 分别依据式(5)和式(6)通过K-SVD进行独立训练得到。下面以低分辨率字典 $D_{\rm{l}}^k$ 为例描述一下训练细节。

    许多经典的字典训练方式都是基于系数不变性的假设，然而这往往对字典训练具有一定限制作用，从而影响图像的重建。所以本文提出了字典独立训练的方式。

    ail,k=arg⁡minail,k⁡‖xil,k−Dlkail,k‖22s.t.‖ail,k‖0≤Ti=1,2,⋯,N,

    3) 字典更新阶段

    利用稀疏编码阶段获得的系数矩阵 $\mathit{\boldsymbol{A}}_{\rm{l}}^k$ ，按列更新当前字典中的每一项原子 ${d_i}\left({{d_i} \in D_{\rm{l}}^k, {\rm{l}} \le i \le n} \right)$ ，以及更新与该原子相关的系数 $\mathit{\boldsymbol{A}}_{\rm{T}}^i\left({\mathit{\boldsymbol{A}}_{\rm{T}}^i \in \mathit{\boldsymbol{A}}_{\rm{l}}^k, {\rm{l}} \le i \le n} \right)$ ， ${\mathit{\boldsymbol{A}}_{\rm{T}}^i}$ 表示系数矩阵 ${\mathit{\boldsymbol{A}}_{\rm{l}}^k}$ 中的第i行。字典的训练目标是最小化训练集和字典表示结果的均方误差：

    1) 初始化：随机选择训练集中的样例来初始化低分辨率字典 $D_{\rm{l}}^k$ 。

    aih,k=arg⁡minaih,k⁡‖xih,k−Dhkaih,k‖22s.t.‖aih,k‖0≤Ti=1,2,⋯,N。
    Dlk=arg⁡min‖Xlk−DlkAlk‖F2=arg⁡min‖Xlk−∑j=1ndjATj‖F2。

    式中： $D_{\rm{l}}^k \in {R^{{d_{\rm{l}}} \times n}}$ 表示第k类训练集的低分辨率字典， $\mathit{\boldsymbol{A}}_{\rm{h}}^k \in {R^{n \times N}}$ 表示利用当前字典获得的本类低分辨率训练集的系数矩阵， $D_{\rm{h}}^k \in {R^{{d_{\rm{h}}} \times n}}$ 和 $\mathit{\boldsymbol{A}}_{\rm{h}}^k \in {R^{n \times N}}$ 分别表示相应的高分辨率字典及其系数矩阵， $a_i^{{\rm{l}}, k}$ 表示低分辨率块 $x_i^{{\rm{l}}, k}$ 的稀疏系数， $a_i^{{\rm{h}}, k}$ 表示高分辨率块 $x_i^{{\rm{h}}, k}$ 的稀疏系数，T是稀疏度约束，是一个整数常量。dl表示低分辨率字典原子维度，dh表示高分辨率字典原子维度，n表示字典原子个数，N表示训练集中图像块的个数。

    根据式(11)建立一个0~1映射矩阵 ${\mathit{\boldsymbol{ \boldsymbol{\varPhi} }}_i} \in {R^{N \times \left| {{\omega _i}} \right|}}$ ，使得系数 $\mathit{\boldsymbol{A}}_{\rm{T}}^i$ 被映射之后只保留非零项，即 $\mathit{\boldsymbol{A}}_{\rm{R}}^i = \mathit{\boldsymbol{A}}_{\rm{R}}^i{\mathit{\boldsymbol{ \boldsymbol{\varPhi} }}_i}$ ，其中 $\mathit{\boldsymbol{A}}_{\rm{R}}^i$ 是 $\mathit{\boldsymbol{A}}_{\rm{T}}^i$ 中的非零元素依次排列得到。利用相同的思想进行处理Ei可以得到： $E_{\rm{R}}^i = {E_i}{\mathit{\boldsymbol{ \boldsymbol{\varPhi} }}_i}$ ，然后对 $E_{\rm{R}}^i$ 进行SVD分解后得到：

    Dlk,Alk=arg⁡minDlk,Alk⁡‖xil,k−Dlkail,k‖22s.t.‖ail,k‖0≤Ti=1,2,⋯,N,

    为了更新原子di及其相关系数 ${\mathit{\boldsymbol{A}}_{\rm{T}}^i}$ ，定义误差矩阵Ei来指示原子di应该更新的内容，即Ei则代表着子项 ${d_i}\mathit{\boldsymbol{A}}_{\rm{T}}^i$ 需要表示的成分：

    Dhk,Ahk=arg⁡minDhk,Ahk⁡‖xih,k−Dhkaih,k‖22s.t.‖aih,k‖0≤Ti=1,2,⋯,N,
    ωi={j|1≤j≤N,ATi(j)≠0},

    确切地说，利用K-SVD方法分别训练每类训练集对—— $X_{\rm{l}}^k = \left\{ {x_1^{{\rm{l}}, k}, x_2^{{\rm{l}}, k}, \ldots, x_N^{{\rm{l}}, k}} \right\}$ 和 $X_{\rm{h}}^k = \left\{ {x_1^{{\rm{h}}, k}, x_2^{{\rm{h}}, k}, \ldots, x_N^{{\rm{h}}, k}} \right\}$ ，以期获得低分辨率子字典和高分辨率子字典，相应公式为：

    Ei=Xlk−∑j=1,j≠indjATj。

    然后对Ei进行奇异值分解(SVD)，选择具有最大能量的奇异值来最优逼近Ei。但是存在的问题是对Ei直接进行奇异值分解，在更新与di相关的系数 $\mathit{\boldsymbol{A}}_{\rm{T}}^i$ 时往往会造成系数的非稀疏性。所以建立索引ωi用来指示 $\mathit{\boldsymbol{A}}_{\rm{T}}^i$ 的非零项:

    3.2   多类映射函数学习

    经过决策树算法分类训练集之后，获得了K个训练集对 $\left\{ {X_{\rm{l}}^k, X_{\rm{h}}^k} \right\}_{k = 1}^K$ ，针对每类训练集训练字典，可以得到一个用来表达该类的字典对 $\left\{ {D_{\rm{l}}^k, D_{\rm{h}}^k} \right\}$ 和相应的系数矩阵 $\left\{ {\mathit{\boldsymbol{A}}_{\rm{l}}^k, \mathit{\boldsymbol{A}}_{\rm{h}}^k} \right\}$ 。但是由于独立训练的关系，导致低分辨率字典 ${D_{\rm{l}}^k}$ 表达一个低分辨率图像Y的稀疏系数与高分辨率字典 ${D_{\rm{h}}^k}$ 表达Y对应的高分辨率图像X的系数不一致。虽然字典对各自的训练集能够进行有效表示，但如果继续利用低分辨率系数矩阵 ${\mathit{\boldsymbol{A}}_{\rm{l}}^k}$ 来恢复高分辨率图像，往往会造成重建结果不理想，一方面是因为欠拟合和过拟合因素，另一方面因为原子选择的因素。因此有必要基于系数矩阵 ${\mathit{\boldsymbol{A}}_{\rm{l}}^k}$ 和 ${\mathit{\boldsymbol{A}}_{\rm{h}}^k}$ 去求解它们的关系映射以达到更好的重建效果。

    式(13)的解析解为

    对每类训练集中的系数矩阵应用式(14)即可获得相应的映射矩阵 $\left\{ {{M_k}} \right\}_{k = 1}^K$ 。

    Mk=arg⁡minMk⁡‖Ahk−MkAlk‖F2。

    同一类训练集中的图像块具有类似的几何结构，所以它们的稀疏系数也具有一定的相似性。在基于质量和效率的考虑下，线性映射足以用来求解这个关系映射函数。本文利用最小二乘方法(least square, LS)来求解，则第k类训练集的映射求解公式可写为

    Mk=AhkAlkT(AlkAlkT)−1。

    3.3   图像重建

    式(15)可以通过OMP算法进行逼近求解得到块yi的稀疏系数 $a_i^{\rm{l}}$ 。根据预先计算的本类训练集映射矩阵Mk，利用 $a_i^{\rm{l}}$ 来计算高分辨率字典 ${D_{\rm{h}}^k}$ 表示yi的高分辨率版本xi的系数

    aih=Mkail。
    ail=arg⁡min‖yi−Dlkail‖22+λ‖ail‖0。
    xi=Dhkaih,

    则结合式(14)、式(16)和式(17)，可得到：

    假设给定待重建图像 $Y = \left\{ {{y_1}, {y_2}, \ldots, {y_N}} \right\}$ ，利用决策树对每个待重建的块yi进行分类，若图像块yi根据相应的分类特征划分到了第k类训练集，则利用相应的低分辨率字典 ${D_{\rm{l}}^k}$ 对图像块yi进行稀疏编码得到稀疏系数 $a_i^{\rm{l}}$ ，此问题可以表示成：

    xi=DhkMkail=DhkAhkAlkT(AlkAlkT)−1ail。

    重建模型为

    由式(18)可知，只需通过一次稀疏编码求出低分辨率稀疏系数 $a_i^{\rm{l}}$ 即可获得块yi的重建块xi。最后将所有重建的块 ${{x_1}, {x_2}, \ldots, {x_N}}$ 进行拼接组合得到重建的高分辨率图像X，其中块重叠区域取像素均值。

    4.   实验结果与分析

    另一方面，为展示本文设计的决策树分类算法的优势，分别利用决策树以及K-means算法分类训练集，然后训练字典并重建图像。同时为保证对比的公平性，同样利用K-means算法将训练集分为8类。表 3展示了本次实验的比较结果，从表中数据可以看出，利用K-means分类重建的平均PSNR为32.88，平均SSIM为0.9285，本文方法的重建结果在PSNR方面比K-means重建结果高0.34，在SSIM方面比K-means重建结果高0.0025，在VIF方面高出0.0087，在FSIM方面高出0.0030。实验数据对比结果表明本文的决策树分类效果比K-means更准确。

    为进一步验证本文算法的有效性，表 2展示了在图像放大倍数分别为2、3、4的情况下的重建结果，其中每一项数据均为图 3中所有图片重建结果的平均值。表中数据表明，本文的重建结果在不同放大倍数情况下均比其他方法的重建结果质量高。具体来讲，与ANR方法相比，当放大倍数为2的时候，本文方法的重建效果在PSNR方面比ANR要高出0.21，在SSIM方面要高出0.0009；在VIF方面要高出0.0017；在FSIM方面要高出0.0019。同样地，当放大倍数为3的时候，在PSNR方面要高出0.45，在SSIM方面要高出0.0062，在VIF方面要高出0.0138，在FSIM方面要高出0.0067；当放大倍数为4的时候，在PSNR方面要高出0.37，在SSIM方面要高出0.0077，在VIF方面要高出0.0109，在FSIM方面要高出0.0082。这基本可以说明在放大倍数较大时，本文算法的可用性和稳定性相比其他方法更好一些。

    为验证本文方法的有效性，本文方法与Yang[]和Zeyde[]的基于稀疏编码的方法、Chang[](NE+LLE)和Bevilacqua[](NE+NNLS)的基于最小二乘回归的方法以及Timofte[]的锚定邻域回归(ANR)方法进行实验对比。其中，在训练集分类阶段，本文选用的方差阈值τ为0.001，当图像块放大2倍时，对应高分辨率图像块尺寸为6×6，分类特征γ阈值设置为0.3；当图像块放大3倍时，对应高分辨率图像块尺寸为9×9，分类特征γ阈值设置为0.2；当图像块放大4倍时，对应高分辨率图像块尺寸为12×12，分类特征γ阈值设置为0.17。另外，为保证比较好的重建结果，设置稀疏度T为20，字典原子个数为1024。用于测试的图像集如图 3所示。

    Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    Time 0.00 40.53 1.56 3.03 14.23 0.64 7.62
    下载: 导出CSV 
    | 显示表格
    图 3 图像集。(a)帽子；(b)比赛；(c)鸟；(d)工长；(e)帆船；(f)花；(g)女孩；(h)蝴蝶；(i)鹦鹉
    图  3 

    图像集。(a)帽子；(b)比赛；(c)鸟；(d)工长；(e)帆船；(f)花；(g)女孩；(h)蝴蝶；(i)鹦鹉

    Figure  3. 

    Image set. (a) Hats; (b) Match; (c) Bird; (d) Foreman; (e) Sailboats; (f) Flowers; (g) Girl; (h) Butterfly; (i) Parrots

    下载: 全尺寸图片 幻灯片
    Image Evaluation Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    hats PSNR 32.07 33.11 33.50 33.29 33.24 33.24 33.88
    SSIM 0.8799 0.8900 0.9031 0.9004 0.8991 0.9002 0.9083
    VIF 0.4633 0.4688 0.5723 0.5671 0.5574 0.5664 0.5956
    FISM 0.8886 0.9055 0.9196 0.9161 0.9142 0.9153 0.9257
    match PSNR 23.39 24.17 24.19 24.22 24.14 24.26 24.51
    SSIM 0.6479 0.7081 0.7052 0.7091 0.7006 0.7117 0.7229
    VIF 0.2965 0.3287 0.3565 0.3596 0.3501 0.3634 0.3755
    FISM 0.7823 0.8246 0.8215 0.8247 0.8183 0.8265 0.8347
    sailboats PSNR 28.16 28.94 28.95 28.83 28.74 28.84 29.17
    SSIM 0.8390 0.8559 0.8635 0.8597 0.8582 0.8598 0.8686
    VIF 0.3759 0.3656 0.4465 0.4437 0.4354 0.4458 0.4599
    FISM 0.8513 0.8717 0.8758 0.8705 0.8684 0.8691 0.8800
    girl PSNR 30.37 31.33 32.21 31.82 31.71 31.76 32.31
    SSIM 0.8734 0.8694 0.8906 0.8868 0.8821 0.8867 0.8927
    VIF 0.4424 0.4358 0.5315 0.5292 0.5203 0.5333 0.5483
    FISM 0.8950 0.8944 0.9215 0.9148 0.9114 0.9126 0.9206
    parrots PSNR 30.66 31.23 31.40 31.40 31.31 31.43 31.77
    SSIM 0.9042 0.9056 0.9181 0.9182 0.9154 0.9190 0.9216
    VIF 0.5170 0.4733 0.5914 0.5952 0.5820 0.5981 0.6037
    FISM 0.9323 0.9350 0.9452 0.9453 0.9421 0.9457 0.9482
    bird PSNR 32.58 34.11 34.51 34.50 34.23 34.53 35.08
    SSIM 0.9256 0.9391 0.9476 0.9474 0.9429 0.9485 0.9522
    VIF 0.5504 0.5842 0.6555 0.6576 0.6399 0.6637 0.6725
    FISM 0.9283 0.9449 0.9498 0.9493 0.9450 0.9502 0.9548
    flowers PSNR 27.23 28.25 28.42 28.35 28.21 28.45 28.68
    SSIM 0.8013 0.8297 0.8376 0.8377 0.8327 0.8396 0.8436
    VIF 0.3683 0.3988 0.4467 0.4463 0.4365 0.4516 0.4613
    FISM 0.8445 0.8713 0.8760 0.8745 0.8699 0.8764 0.8818
    foreman PSNR 31.18 32.04 33.16 33.10 32.94 33.15 33.72
    SSIM 0.9058 0.9132 0.9294 0.9284 0.9251 0.9292 0.9355
    VIF 0.5309 0.5326 0.6348 0.6392 0.6222 0.6449 0.6605
    FISM 0.9123 0.9287 0.9385 0.9383 0.9349 0.9388 0.9455
    butterfly PSNR 29.43 30.71 31.09 30.89 30.74 31.02 31.63
    SSIM 0.9198 0.9290 0.9380 0.9357 0.9339 0.9371 0.9423
    VIF 0.4600 0.4576 0.5461 0.5457 0.5318 0.5513 0.5658
    FISM 0.9658 0.9750 0.9820 0.9808 0.9799 0.9816 0.9856
    average PSNR 29.45 30.43 30.83 30.71 30.58 30.74 31.19
    SSIM 0.8552 0.8711 0.8815 0.8804 0.8767 0.8813 0.8875
    VIF 0.4450 0.4495 0.5312 0.5315 0.5195 0.5354 0.5492
    FISM 0.8889 0.9057 0.9144 0.9127 0.9094 0.9129 0.9196
    下载: 导出CSV 
    | 显示表格

    最后，表 4展示了关于时间方面和其他算法的对比试验，表中数据为当图像放大倍数为3时，重建图 3中所有图片所需要的平均时间，单位为s。从表中数据可以看出，本文方法的平均时间为7.62 s，这个时间快于Yang[]和NE+NNLS，但慢于其他方法，这是因为本文算法需要对每个图像块进行稀疏编码而非像ANR那样利用离线式映射矩阵重建图像。

    表 1展示了图像在放大3倍时的重建结果，本文选用了PSNR、SSIM[]、VIF[]和FSIM[]作为评价指标，其数值均是越大，表示图像重建效果越好。在PSNR方面，本文的重建结果比Yang[]、Zeyde[]、NE+LLE、NE+NNLS以及ANR方法平均依次要高出0.76、0.36、0.48、0.61、0.45。相应地，在SSIM方面，本文的重建结果平均依次要高出0.0164、0.0060、0.0071、0.0108、0.0062；在VIF和FSIM指标方面，本文的重建结果依然比其他方法具有明显优势。综上所述，表 1的实验数据直接表明了本文方法的有效性。

    Type Evaluation Hats Pparrots Bird Foreman Butterfly Average
    Kmeans PSNR 33.52 31.47 34.73 33.34 31.36 32.88
    SSIM 0.9035 0.9191 0.9492 0.9311 0.9396 0.9285
    VIF 0.5784 0.5999 0.6675 0.6460 0.5626 0.6109
    FISM 0.9210 0.9465 0.9520 0.9417 0.9838 0.9490
    Proposed PSNR 33.88 31.77 35.08 33.72 31.63 33.22
    SSIM 0.9083 0.9216 0.9522 0.9355 0.9371 0.9310
    VIF 0.5956 0.6037 0.6725 0.6605 0.5658 0.6196
    FISM 0.9257 0.9482 0.9548 0.9455 0.9856 0.9520
    下载: 导出CSV 
    | 显示表格
    Scale Evaluation Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    x2 PSNR 32.33 26.08 34.35 34.31 34.07 34.36 34.57
    SSIM 0.9205 0.9128 0.9421 0.9421 0.9402 0.9432 0.9441
    VIF 0.6484 0.5985 0.7574 0.7605 0.7496 0.7639 0.7656
    FISM 0.9406 0.9184 0.9613 0.9612 0.9596 0.9614 0.9633
    x3 PSNR 29.45 30.43 30.83 30.71 30.58 30.74 31.19
    SSIM 0.8552 0.8711 0.8815 0.8804 0.8767 0.8813 0.8875
    VIF 0.4450 0.4495 0.5312 0.5315 0.5195 0.5354 0.5492
    FISM 0.8889 0.9057 0.9144 0.9127 0.9094 0.9129 0.9196
    x4 PSNR 27.86 27.84 28.98 28.86 28.77 28.92 29.29
    SSIM 0.8028 0.7986 0.8297 0.8278 0.8248 0.8295 0.8372
    VIF 0.3189 0.2881 0.3888 0.3893 0.3800 0.3935 0.4044
    FISM 0.8490 0.8527 0.8755 0.8732 0.8706 0.8744 0.8826
    下载: 导出CSV 
    | 显示表格

    5.   结论

    本文结合特征分类和独立字典训练提出了一种有效的超分辨率重建方法。利用了分类重建的思想，并针对K-means分类的非监督性，提取分类特征并设计了基于决策树的分类方式，达到了比较好的分类效果。另一方面，本文提出的这种字典训练方式是按照相应训练集类别进行独立字典训练，并根据二者的映射关系实现了具有质量保证的图像重建，同时在重建期间只使用了一次稀疏编码，从而保证了效率。实验结果直接表明本的方法比其他经典方法具有更好的重建质量。

    • 基金

    基金项目: 

    国家自然科学基金项目 61672202

    Funds: 

    Supported by National Natural Science Foundation of China 61672202

    参考文献(23)

  • 参考文献

    Wang L Z, Lu K, Liu P. Compressed sensing of a remote sensing image based on the priors of the reference image[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 736-740.

    DOI: 10.1109/LGRS.2014.2360457

    Wang Y H, Li J B, Fu P. Medical image super-resolution analysis with sparse representation[C]//Proceedings of the 2012 Eighth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2012: 106-109.

    Li X, Orchard M T. New edge-directed interpolation[J]. IEEE Transactions on Image Processing, 2001, 10(10): 1521-1527.

    DOI: 10.1109/83.951537

    Zhang L, Wu X L. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2226-2238.

    DOI: 10.1109/TIP.2006.877407
    展开
    • 施引文献(15)

  • 期刊类型引用(7)

    1. 田旭，刁红军，凌兴宏. 身份保持约束下的面部图像超分辨率重建方法. 数据采集与处理. 2023(02): 350-363 . 百度学术
    2. 闵雷，杨平，许冰，刘永. 变分贝叶斯框架中的多帧图像盲超分辨. 光电工程. 2019(06): 6-15 . 本站查看
    3. 穆绍硕，张解放. 基于快速l_1-范数稀疏表示和TGV的超分辨算法研究. 光电工程. 2019(11): 28-39 . 本站查看
    4. 沈明玉，俞鹏飞，汪荣贵，杨娟，薛丽霞. 多路径递归网络结构的单帧图像超分辨率重建. 光电工程. 2019(11): 19-27 . 本站查看
    5. 付绪文，张旭东，张骏，孙锐. 级联金字塔结构的深度图超分辨率重建. 光电工程. 2019(11): 55-67 . 本站查看
    6. 汪荣贵，刘雷雷，杨娟，薛丽霞，胡敏. 基于聚类和协同表示的超分辨率重建. 光电工程. 2018(04): 14-23 . 本站查看
    7. 王飞，王伟，邱智亮. 一种深度级联网络结构的单帧超分辨重建算法. 光电工程. 2018(07): 40-49 . 本站查看

    其他类型引用(8)

    • 版权信息

  • 版权信息

    版权属于中国科学院光电技术研究所，但文章内容可以在本网站免费下载，以及免费用于学习和科研工作
    • 关于本文

  • 关于本文

    DOI: 10.12086/oee.2018.170542
    引用本文
    Citation:
    汪荣贵, 汪庆辉, 杨娟, 胡敏. 融合特征分类和独立字典训练的超分辨率重建[J]. 光电工程, 2018, 45(1): 170542. DOI: 10.12086/oee.2018.170542
    Citation:
    Wang Ronggui, Wang Qinghui, Yang Juan, Hu Min. Image super-resolution reconstruction by fusing feature classification and independent dictionary training. Opto-Electronic Engineering 45, 170542 (2018). DOI: 10.12086/oee.2018.170542
    导出引用
    出版历程
    • 收稿日期 2017-10-13
    • 修回日期 2017-12-19
    • 刊出日期 2018-01-14
    文章计量
    访问数(8434) PDF下载数(3566)
    分享:
    • 相关文章

  • 相关文章

    [1] 郭嘉胜, 刘俊, 何兰, 姜盼, 薛安克, 谷雨, 韩利, 张杰. 数据与知识联合驱动的舰船目标细粒度分类 [J]. 光电工程, 2025, 52(6): 250048. DOI: 10.12086/oee.2025.250048
    [2] 姜文涛, 董睿, 张晟翀. 局部注意力引导下的全局池化残差分类网络 [J]. 光电工程, 2024, 51(7): 240126. DOI: 10.12086/oee.2024.240126
    [3] 姜文涛, 陈晨, 张晟翀. 空间位置矫正的稀疏特征图像分类网络 [J]. 光电工程, 2024, 51(5): 240050. DOI: 10.12086/oee.2024.240050
    [4] 陶志勇, 李衡, 豆淼森, 林森. 融合多分辨率特征的点云分类与分割网络 [J]. 光电工程, 2023, 50(10): 230166. DOI: 10.12086/oee.2023.230166
    [5] 罗鑫, 黄影平, 梁振明. 轴注意力引导的锚点分类车道线检测 [J]. 光电工程, 2023, 50(7): 230079. DOI: 10.12086/oee.2023.230079
    [6] 梁礼明, 董信, 李仁杰, 何安军. 基于注意力机制多特征融合的视网膜病变分级算法 [J]. 光电工程, 2023, 50(1): 220199. DOI: 10.12086/oee.2023.220199
    [7] 李涛, 金炜, 符冉迪, 李纲, 尹曹谦. 结合遥感卫星及深度神经决策树的夜间海雾识别 [J]. 光电工程, 2022, 49(9): 220007. DOI: 10.12086/oee.2022.220007
    [8] 寇旗旗, 程德强, 于文洁, 李化玉. 融合CLBP和局部几何特征的纹理目标分类 [J]. 光电工程, 2019, 46(11): 180604. DOI: 10.12086/oee.2019.180604
    [9] 薛丽霞, 江迪, 汪荣贵, 杨娟. 融合注意力机制和语义关联性的多标签图像分类 [J]. 光电工程, 2019, 46(9): 180468. DOI: 10.12086/oee.2019.180468
    [10] 郭治成, 党建武, 王阳萍, 金静. 基于多特征融合的背景建模方法 [J]. 光电工程, 2018, 45(12): 180206. DOI: 10.12086/oee.2018.180206
  • Image Evaluation Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    hats PSNR 32.07 33.11 33.50 33.29 33.24 33.24 33.88
    SSIM 0.8799 0.8900 0.9031 0.9004 0.8991 0.9002 0.9083
    VIF 0.4633 0.4688 0.5723 0.5671 0.5574 0.5664 0.5956
    FISM 0.8886 0.9055 0.9196 0.9161 0.9142 0.9153 0.9257
    match PSNR 23.39 24.17 24.19 24.22 24.14 24.26 24.51
    SSIM 0.6479 0.7081 0.7052 0.7091 0.7006 0.7117 0.7229
    VIF 0.2965 0.3287 0.3565 0.3596 0.3501 0.3634 0.3755
    FISM 0.7823 0.8246 0.8215 0.8247 0.8183 0.8265 0.8347
    sailboats PSNR 28.16 28.94 28.95 28.83 28.74 28.84 29.17
    SSIM 0.8390 0.8559 0.8635 0.8597 0.8582 0.8598 0.8686
    VIF 0.3759 0.3656 0.4465 0.4437 0.4354 0.4458 0.4599
    FISM 0.8513 0.8717 0.8758 0.8705 0.8684 0.8691 0.8800
    girl PSNR 30.37 31.33 32.21 31.82 31.71 31.76 32.31
    SSIM 0.8734 0.8694 0.8906 0.8868 0.8821 0.8867 0.8927
    VIF 0.4424 0.4358 0.5315 0.5292 0.5203 0.5333 0.5483
    FISM 0.8950 0.8944 0.9215 0.9148 0.9114 0.9126 0.9206
    parrots PSNR 30.66 31.23 31.40 31.40 31.31 31.43 31.77
    SSIM 0.9042 0.9056 0.9181 0.9182 0.9154 0.9190 0.9216
    VIF 0.5170 0.4733 0.5914 0.5952 0.5820 0.5981 0.6037
    FISM 0.9323 0.9350 0.9452 0.9453 0.9421 0.9457 0.9482
    bird PSNR 32.58 34.11 34.51 34.50 34.23 34.53 35.08
    SSIM 0.9256 0.9391 0.9476 0.9474 0.9429 0.9485 0.9522
    VIF 0.5504 0.5842 0.6555 0.6576 0.6399 0.6637 0.6725
    FISM 0.9283 0.9449 0.9498 0.9493 0.9450 0.9502 0.9548
    flowers PSNR 27.23 28.25 28.42 28.35 28.21 28.45 28.68
    SSIM 0.8013 0.8297 0.8376 0.8377 0.8327 0.8396 0.8436
    VIF 0.3683 0.3988 0.4467 0.4463 0.4365 0.4516 0.4613
    FISM 0.8445 0.8713 0.8760 0.8745 0.8699 0.8764 0.8818
    foreman PSNR 31.18 32.04 33.16 33.10 32.94 33.15 33.72
    SSIM 0.9058 0.9132 0.9294 0.9284 0.9251 0.9292 0.9355
    VIF 0.5309 0.5326 0.6348 0.6392 0.6222 0.6449 0.6605
    FISM 0.9123 0.9287 0.9385 0.9383 0.9349 0.9388 0.9455
    butterfly PSNR 29.43 30.71 31.09 30.89 30.74 31.02 31.63
    SSIM 0.9198 0.9290 0.9380 0.9357 0.9339 0.9371 0.9423
    VIF 0.4600 0.4576 0.5461 0.5457 0.5318 0.5513 0.5658
    FISM 0.9658 0.9750 0.9820 0.9808 0.9799 0.9816 0.9856
    average PSNR 29.45 30.43 30.83 30.71 30.58 30.74 31.19
    SSIM 0.8552 0.8711 0.8815 0.8804 0.8767 0.8813 0.8875
    VIF 0.4450 0.4495 0.5312 0.5315 0.5195 0.5354 0.5492
    FISM 0.8889 0.9057 0.9144 0.9127 0.9094 0.9129 0.9196
    文章中查看 下载
  • Scale Evaluation Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    x2 PSNR 32.33 26.08 34.35 34.31 34.07 34.36 34.57
    SSIM 0.9205 0.9128 0.9421 0.9421 0.9402 0.9432 0.9441
    VIF 0.6484 0.5985 0.7574 0.7605 0.7496 0.7639 0.7656
    FISM 0.9406 0.9184 0.9613 0.9612 0.9596 0.9614 0.9633
    x3 PSNR 29.45 30.43 30.83 30.71 30.58 30.74 31.19
    SSIM 0.8552 0.8711 0.8815 0.8804 0.8767 0.8813 0.8875
    VIF 0.4450 0.4495 0.5312 0.5315 0.5195 0.5354 0.5492
    FISM 0.8889 0.9057 0.9144 0.9127 0.9094 0.9129 0.9196
    x4 PSNR 27.86 27.84 28.98 28.86 28.77 28.92 29.29
    SSIM 0.8028 0.7986 0.8297 0.8278 0.8248 0.8295 0.8372
    VIF 0.3189 0.2881 0.3888 0.3893 0.3800 0.3935 0.4044
    FISM 0.8490 0.8527 0.8755 0.8732 0.8706 0.8744 0.8826
    文章中查看 下载
  • Type Evaluation Hats Pparrots Bird Foreman Butterfly Average
    Kmeans PSNR 33.52 31.47 34.73 33.34 31.36 32.88
    SSIM 0.9035 0.9191 0.9492 0.9311 0.9396 0.9285
    VIF 0.5784 0.5999 0.6675 0.6460 0.5626 0.6109
    FISM 0.9210 0.9465 0.9520 0.9417 0.9838 0.9490
    Proposed PSNR 33.88 31.77 35.08 33.72 31.63 33.22
    SSIM 0.9083 0.9216 0.9522 0.9355 0.9371 0.9310
    VIF 0.5956 0.6037 0.6725 0.6605 0.5658 0.6196
    FISM 0.9257 0.9482 0.9548 0.9455 0.9856 0.9520
    文章中查看 下载
  • Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    Time 0.00 40.53 1.56 3.03 14.23 0.64 7.62
    文章中查看 下载

Wang L Z, Lu K, Liu P. Compressed sensing of a remote sensing image based on the priors of the reference image[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 736-740.

DOI: 10.1109/LGRS.2014.2360457

Wang Y H, Li J B, Fu P. Medical image super-resolution analysis with sparse representation[C]//Proceedings of the 2012 Eighth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2012: 106-109.

Li X, Orchard M T. New edge-directed interpolation[J]. IEEE Transactions on Image Processing, 2001, 10(10): 1521-1527.

DOI: 10.1109/83.951537

Zhang L, Wu X L. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2226-2238.

DOI: 10.1109/TIP.2006.877407

Dai S Y, Han M, Xu W, et al. SoftCuts: a soft edge smoothness prior for color image super-resolution[J]. IEEE Transactions on Image Processing, 2009, 18(5): 969-981.

DOI: 10.1109/TIP.2009.2012908

Sun J, Shum H Y. Image super-resolution using gradient profile prior: US 2010/0086227 A1[P]. 2010-04-08.

Yang J C, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]//Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2008: 1-8.

Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

DOI: 10.1109/TIP.2010.2050625

Yang J C, Wang Z W, Lin Z, et al. Coupled dictionary training for image super-resolution[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3467-3478.

DOI: 10.1109/TIP.2012.2192127

Xu J, Qi C, Chang Z G. Coupled K-SVD dictionary training for super-resolution[C]//Proceedings of the 2014 IEEE International Conference on Image Processing, 2014: 3910-3914.

Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[C]//Proceedings of the 7th International Conference on Curves and Surfaces, 2010: 711-730.

https://link.springer.com/chapter/10.1007/978-3-642-27413-8_47

Timofte R, De V, Van G L. Anchored neighborhood regression for fast example-based super-resolution[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision, 2013: 1920-1927.

Timofte R, De S V, Van G L. A+: adjusted anchored neighborhood regression for fast super-resolution[C]//Proceedings of the 12th Asian Conference on Computer Vision, 2014: 111-126.

https://link.springer.com/10.1007/978-3-319-16817-3_8

Aharon M, Elad M, Bruckstein A. rmK-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

DOI: 10.1109/TSP.2006.881199

Yang W M, Tian Y P, Zhou F, et al. Consistent coding scheme for single-image super-resolution via independent dictionaries[J]. IEEE Transactions on Multimedia, 2016, 18(3): 313-325.

DOI: 10.1109/TMM.2016.2515997

Yang S Y, Liu Z Z, Wang M, et al. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193-3203.

DOI: 10.1016/j.neucom.2011.04.014

Dong W S, Li X, Zhang L, et al. Sparsity-based image denoising via dictionary learning and structural clustering[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition, 2011: 457-464.

Feng X G, Milanfae P. Multiscale principal components analysis for image local orientation estimation[C]//Conference Record of the 36th Asilomar Conference on Signals, Systems and Computers, 2002, 1: 478-482.

http://ieeexplore.ieee.org/abstract/document/1197228/

Chang H, Yeung D Y, Xiong Y M. Super-resolution through neighbor embedding[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004: Ⅰ.

http://ieeexplore.ieee.org/abstract/document/1315043/

Bevilacqua M, Roumy A, Guillemot C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proceedings of British Machine Vision Conference (BMVC), 2012.

http://eprints.imtlucca.it/2412/

Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

DOI: 10.1109/TIP.2003.819861

Sheikh H R, Bovik A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

DOI: 10.1109/TIP.2005.859378

Zhang L, Zhang L, Mou X Q, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

DOI: 10.1109/TIP.2011.2109730
融合特征分类和独立字典训练的超分辨率重建
  • 图  1
  • 图  2
  • 图  3
融合特征分类和独立字典训练的超分辨率重建
  • Image Evaluation Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    hats PSNR 32.07 33.11 33.50 33.29 33.24 33.24 33.88
    SSIM 0.8799 0.8900 0.9031 0.9004 0.8991 0.9002 0.9083
    VIF 0.4633 0.4688 0.5723 0.5671 0.5574 0.5664 0.5956
    FISM 0.8886 0.9055 0.9196 0.9161 0.9142 0.9153 0.9257
    match PSNR 23.39 24.17 24.19 24.22 24.14 24.26 24.51
    SSIM 0.6479 0.7081 0.7052 0.7091 0.7006 0.7117 0.7229
    VIF 0.2965 0.3287 0.3565 0.3596 0.3501 0.3634 0.3755
    FISM 0.7823 0.8246 0.8215 0.8247 0.8183 0.8265 0.8347
    sailboats PSNR 28.16 28.94 28.95 28.83 28.74 28.84 29.17
    SSIM 0.8390 0.8559 0.8635 0.8597 0.8582 0.8598 0.8686
    VIF 0.3759 0.3656 0.4465 0.4437 0.4354 0.4458 0.4599
    FISM 0.8513 0.8717 0.8758 0.8705 0.8684 0.8691 0.8800
    girl PSNR 30.37 31.33 32.21 31.82 31.71 31.76 32.31
    SSIM 0.8734 0.8694 0.8906 0.8868 0.8821 0.8867 0.8927
    VIF 0.4424 0.4358 0.5315 0.5292 0.5203 0.5333 0.5483
    FISM 0.8950 0.8944 0.9215 0.9148 0.9114 0.9126 0.9206
    parrots PSNR 30.66 31.23 31.40 31.40 31.31 31.43 31.77
    SSIM 0.9042 0.9056 0.9181 0.9182 0.9154 0.9190 0.9216
    VIF 0.5170 0.4733 0.5914 0.5952 0.5820 0.5981 0.6037
    FISM 0.9323 0.9350 0.9452 0.9453 0.9421 0.9457 0.9482
    bird PSNR 32.58 34.11 34.51 34.50 34.23 34.53 35.08
    SSIM 0.9256 0.9391 0.9476 0.9474 0.9429 0.9485 0.9522
    VIF 0.5504 0.5842 0.6555 0.6576 0.6399 0.6637 0.6725
    FISM 0.9283 0.9449 0.9498 0.9493 0.9450 0.9502 0.9548
    flowers PSNR 27.23 28.25 28.42 28.35 28.21 28.45 28.68
    SSIM 0.8013 0.8297 0.8376 0.8377 0.8327 0.8396 0.8436
    VIF 0.3683 0.3988 0.4467 0.4463 0.4365 0.4516 0.4613
    FISM 0.8445 0.8713 0.8760 0.8745 0.8699 0.8764 0.8818
    foreman PSNR 31.18 32.04 33.16 33.10 32.94 33.15 33.72
    SSIM 0.9058 0.9132 0.9294 0.9284 0.9251 0.9292 0.9355
    VIF 0.5309 0.5326 0.6348 0.6392 0.6222 0.6449 0.6605
    FISM 0.9123 0.9287 0.9385 0.9383 0.9349 0.9388 0.9455
    butterfly PSNR 29.43 30.71 31.09 30.89 30.74 31.02 31.63
    SSIM 0.9198 0.9290 0.9380 0.9357 0.9339 0.9371 0.9423
    VIF 0.4600 0.4576 0.5461 0.5457 0.5318 0.5513 0.5658
    FISM 0.9658 0.9750 0.9820 0.9808 0.9799 0.9816 0.9856
    average PSNR 29.45 30.43 30.83 30.71 30.58 30.74 31.19
    SSIM 0.8552 0.8711 0.8815 0.8804 0.8767 0.8813 0.8875
    VIF 0.4450 0.4495 0.5312 0.5315 0.5195 0.5354 0.5492
    FISM 0.8889 0.9057 0.9144 0.9127 0.9094 0.9129 0.9196
  • Scale Evaluation Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    x2 PSNR 32.33 26.08 34.35 34.31 34.07 34.36 34.57
    SSIM 0.9205 0.9128 0.9421 0.9421 0.9402 0.9432 0.9441
    VIF 0.6484 0.5985 0.7574 0.7605 0.7496 0.7639 0.7656
    FISM 0.9406 0.9184 0.9613 0.9612 0.9596 0.9614 0.9633
    x3 PSNR 29.45 30.43 30.83 30.71 30.58 30.74 31.19
    SSIM 0.8552 0.8711 0.8815 0.8804 0.8767 0.8813 0.8875
    VIF 0.4450 0.4495 0.5312 0.5315 0.5195 0.5354 0.5492
    FISM 0.8889 0.9057 0.9144 0.9127 0.9094 0.9129 0.9196
    x4 PSNR 27.86 27.84 28.98 28.86 28.77 28.92 29.29
    SSIM 0.8028 0.7986 0.8297 0.8278 0.8248 0.8295 0.8372
    VIF 0.3189 0.2881 0.3888 0.3893 0.3800 0.3935 0.4044
    FISM 0.8490 0.8527 0.8755 0.8732 0.8706 0.8744 0.8826
  • Type Evaluation Hats Pparrots Bird Foreman Butterfly Average
    Kmeans PSNR 33.52 31.47 34.73 33.34 31.36 32.88
    SSIM 0.9035 0.9191 0.9492 0.9311 0.9396 0.9285
    VIF 0.5784 0.5999 0.6675 0.6460 0.5626 0.6109
    FISM 0.9210 0.9465 0.9520 0.9417 0.9838 0.9490
    Proposed PSNR 33.88 31.77 35.08 33.72 31.63 33.22
    SSIM 0.9083 0.9216 0.9522 0.9355 0.9371 0.9310
    VIF 0.5956 0.6037 0.6725 0.6605 0.5658 0.6196
    FISM 0.9257 0.9482 0.9548 0.9455 0.9856 0.9520
  • Bicubic Yang Zeyde NE+LLE NE+NNLS ANR Proposed
    Time 0.00 40.53 1.56 3.03 14.23 0.64 7.62
  • 表  1

    图像放大3倍的重建结果数据表

      1/4
  • 表  2

    不同放大倍数实验结果数据表

      2/4
  • 表  3

    与K-means分类对比的实验数据

      3/4
  • 表  4

    本文算法关于时间方面实验

      4/4
  • 期刊
    1. 光电进展
    2. 光电科学
    3. 光电技术
    4. 光电工程
    5. 光电研究评论
    6. 智能光电
    7. 光电+
Published by Editorial Office of Opto-Electronic Journals Group, Institute of Optics and Electronics, CAS, China
Sponsored by Institute of Optics and Electronics, Chinese Academy of Sciences
Editorial Office
Add: No.1, Guangdian Avenue, Shuangliu, Chengdu, Sichuan 610209, PRC
E-mail: oee@ioe.ac.cn
Tel: 86-28-85100579
扫一扫，微信加关注
版权所有©中国科学院光电技术研究所　蜀ICP备05022581号   本系统由 北京仁和汇智信息技术有限公司 开发   Baidu Analytics