光电工程  2020, Vol. 47 Issue (1): 190268      DOI: 10.12086/oee.2020.190268     
多颜色空间的内窥镜图像血管增强方法
王强 , 陶沛 , 袁波 , 王立强     
浙江大学光电科学与工程学院, 浙江 杭州 310007
摘要:为了提高医用电子内窥镜所获图像的血管与组织的对比度, 针对内窥镜血管图像的特点, 提出了一种基于多颜色空间非线性对比度拉伸的血管增强处理方法。首先在RGB颜色空间利用非线性映射函数对绿色(G)分量进行自适应对比度拉伸;接着依据G分量的拉伸结果, 相应地调整红色(R)和蓝色(B)两个分量的灰度值;然后将图像转换到HSV颜色空间, 并对图像的饱和度(S)分量进行自适应对比度拉伸;最后将图像转换回RGB颜色空间, 最终达到血管增强的目的。在本文中, 利用所提出的算法对多幅电子内窥镜图像进行处理, 结果表明, 算法对于原始特征不明显的细小血管也具有较好的增强效果。通过与其它的增强方法相对比, 增强后图像的细节方差(DV)显著大于其它方法。将算法嵌入到分辨率为1280×800的内窥镜软件中, 其处理速度可达26 f/s。
关键词对比度    血管增强    颜色空间    电子内窥镜    
Vessel enhancement of endoscopic image based on multi-color space
Wang Qiang, Tao Pei, Yuan Bo, Wang Liqiang     
College of Optical Science and Engineering, Zhejiang University, Hangzhou, Zhejiang 310007, China
Abstract: In order to improve the contrast between the blood vessels and tissues of the images obtained by medical electronic endoscopes, a vessel enhancement method of non-linear contrast stretching in multi-color space is proposed according to the characteristics of endoscopic vascular images. Firstly, in RGB color space, stretching contrast adaptively of the green (G) component by using the nonlinear mapping function. Secondly, adjusting the gray value of the two components of red (R) and blue (B) according to the stretching result of the G component. Thirdly, converting the image to HSV color space, and stretching contrast adaptively of the saturation (S) component of the image. Finally, converting the image back to RGB color space, and the purpose of vessel enhancement is achieved. In this paper, the proposed algorithm is used to process several electronic endoscopic images with different contrast and brightness. The results show that the algorithm has better enhancement effect on small blood vessels which are not obvious in original features. Comparing to other enhancement methods, the detail variance (DV) of the enhanced image is significantly great. The algorithm is embedded in a resolution of 1280×800 endoscopic software, 26 frames can be processed per second.
Keywords: contrast    vessel enhancement    color space    electronic endoscope    

1 引言

随着科技的发展,医用电子内窥镜已成为当前应用非常广泛的一种医疗仪器。医生通过电子内窥镜不仅能直接观察到人体内脏器官的组织形态及病变情况,而且还能对内窥镜图像做进一步处理,以达到更好的视觉和诊断效果。但由于人体组织的特殊性以及成像条件的限制,由内窥镜直接获得的图像往往存在血管与其周围组织的对比度较低,导致一些血管特征的缺失,因此需要对内窥镜图像进行增强处理。

在医学图像的血管增强方面,有大量工作集中在视网膜血管增强上,其中所采用的图像处理方法有自适应直方图均衡法、形态学法、Hessian矩阵法、多尺度滤波法等[1-5]。这些增强方法大多复杂度较高,仅适用于静态血管图像的分割和增强,无法满足医用内窥镜实时显示的需要。

在内窥镜图像增强技术上目前主要有NBI (narrow band imaging)[6]、FICE (flexible spectral imaging color enhancement)[7]和I-Scan[8]三种技术,它们均以增强血管特征来达到实时处理。NBI是一种利用窄带光照明的硬件图像增强技术,而FICE和I-Scan均为软件增强技术。FICE通过计算选择若干个特定波长处的反射强度来重构彩色图像,以增强感兴趣目标。它在使用前需对内窥镜系统进行严格定标,且增强图像的颜色与真实颜色差别很大;而I-Scan技术不仅可以选择不同波长组合来显示图像,还引入了表面增强和对比度增强两种方式,但算法较为复杂。姜鸿鹏等[9]提出了一种基于光谱变换的血管增强方法,首先将图像进行导向滤波,再把图片分成细节层与亮度层,对细节层自适应增强和亮度层拉伸获得了较好的血管增强图像,但实时性不高。为了更好地在内窥镜中实现血管增强,本文在分析内窥镜图像特点的基础上,提出了一种在多颜色空间进行非线性对比度拉伸的血管增强方法,并通过实验验证了算法的增强效果。

2 内窥镜血管图像特点与增强算法 2.1 血管图像特点

内窥镜获取的组织图像与人体组织对光的反射、吸收和透射特性相关,而血管图像则主要取决于血红蛋白的吸收特性[10-11]。如图 1所示,其中oxy-Hb为含氧血红蛋白曲线,deoxy-Hb为去氧血红蛋白曲线,在可见光区域,血红蛋白在绿光波段有特征吸收峰,而在红光和蓝光波段则没有;此外,血红蛋白对红光吸收较小,而对蓝光吸收较大。

图 1 人体血红蛋白的摩尔吸光系数[12] Fig. 1 Molar extinction coefficients of human hemoglobin[12]

在LED白光照明下,利用内窥镜获得了图 2(a)所示的口腔内血管图像,图 2(b)~2(d)依次为红色(R)、绿色(G)、蓝色(B)分量图像。可以看出G分量图像的血管特征相比于R、B分量图像要清晰很多,R分量图像偏亮,B分量图像偏暗,这与上述的血红蛋白在不同波段的吸收特性是相符的。由于R、B分量图像的血管特征不清晰,所以它们与G分量合成的彩色图像就不能很好地呈现血管细节。正因如此,通常对内窥镜血管图像进行增强处理才能更好地显示血管特征。

图 2 内窥镜图像。(a)彩色原图;(b)红色分量图;(c)绿色分量图;(d)蓝色分量图 Fig. 2 Endoscopic images. (a) Original color images; (b) Red component images; (c) Green component images; (d) Blue component images
2.2 血管增强算法 2.2.1 算法概述

对比度拉伸可以提高图像灰度级的动态范围,是一种简单有效的图像增强方法。根据上面分析的内窥镜血管图像特征,对G分量进行对比度拉伸,能在显著增强血管图像的同时保留血管细节,然而对R或B分量的对比度拉伸则没有明显的效果。因此,算法首先依据图像G分量进行在RGB颜色空间的对比度拉伸;在完成图像RGB颜色空间的增强后,将图像转换到HSV颜色空间,对图像在HSV颜色空间做进一步的增强处理,这一步可以使血管颜色更为鲜艳,能达到更好的视觉效果;最后,按照传统HSV颜色空间到RGB颜色空间的转换方法,将图像转换回RGB颜色空间,完成内窥镜图像的血管增强,流程如图 3所示。

图 3 血管增强算法流程图 Fig. 3 Flow chart of vascular enhancement algorithm
2.2.2 图像在RGB颜色空间的增强处理

在上述算法中,对G通道进行对比度拉伸的映射函数式:

${g^ * }(x, y) = {[1 + {d_g} \times {({(g(x, y))^{ - 1}} - 1)^2}]^{ - 1}},$ (1)

其中:$g(x, y)$${g^ * }(x, y)$分别为原图和增强图的G通道在像素点$(x, y)$处的归一化灰度值;${d_g}$为G通道灰度映射参数。当${d_g}$改变时,映射函数的具体形式和灰度拉伸范围也会随之变化,图 4为不同${d_g}$下的映射函数曲线图。

图 4 不同d值时的灰度映射函数曲线 Fig. 4 Gray mapping function curve with different d values

映射函数的关键是选取合理的参数dg。从图 4中可以看出,对于某一确定的dg,只有处于特定灰度范围内的对比度才会被拉伸,这个范围内映射函数${g^ * }(x, y)$的一阶导数$({g^ * }(x, y))' > 1$,如图 4中带号曲线的灰度范围[S1S2]。图中的Smax${g^ * }(x, y)$=$g(x, y)$,也即$({g^ * }(x, y))''{\rm{ = }}0$处。因此,只有当g的灰度范围落在[S1S2]区域时,映射函数才能起到对比度拉伸的效果。设G通道的平均灰度值为gave,那么当gave=Smax时,通常能够保证G通道的像素灰度范围落在对比度拉伸区域[S1S2]。根据上述原理,经推导可得:

${d_g} = \frac{{3{{({g_{{\rm{ave}}}})}^2} - 2{{({g_{{\rm{ave}}}})}^3}}}{{2{{({g_{{\rm{ave}}}})}^3} - 3{{({g_{{\rm{ave}}}})}^2} + 1}}。$ (2)

因此,算法首先根据式(2)得到G通道灰度映射参数dg,然后将参数dg代入式(1),实现图像在G通道上的增强。为了保证增强后的图像与原图相比不出现较大的颜色偏差,对G通道进行灰度映射后,再对原图的R和B通道灰度值进行调整,其调整式:

$\left\{ \begin{gathered} {r^ * }(x, y) = r(x, y) + [{g^ * }(x, y) - g(x, y)] \\ {b^ * }(x, y) = b(x, y) + [{g^ * }(x, y) - g(x, y)] \\ \end{gathered} \right.。$ (3)
2.2.3 图像在HSV颜色空间的增强处理

完成图像在RGB颜色空间的初步增强后,需要在HSV颜色空间对图像作进一步的增强。首先将图像从RGB空间转换到HSV空间[13],接着对S分量进行对比度拉伸,其映射函数:

${s^ * } = {[1 + {d_s} \times {({s^{ - 1}} - 1)^2}]^{ - 1}},$ (4)

其中:s${s^ * }$分别为映射前后的S通道灰度值;ds为S通道灰度映射参数,其选取类似dg,计算式:

${d_s} = \frac{{3{{({s_{{\rm{ave}}}})}^2} - 2{{({s_{{\rm{ave}}}})}^3}}}{{2{{({s_{{\rm{ave}}}})}^3} - 3{{({s_{{\rm{ave}}}})}^2} + 1}},$ (5)

该映射函数的作用在于调整饱和度分量S的分布特性,进而拉伸图像中感兴趣区域的饱和度对比度,达到血管增强的目的。最后将图像从HSV颜色空间转换回RGB颜色空间,得到最终的增强图像。

3 实验结果与分析

利用C#语言编程实现上述增强算法,并利用内窥镜图像(a)、(b)和(c)进行测试,结果如图 5所示。图中第1列为原图,第2~6列为在不同参数组合(dg, ds)下获得的血管增强图,其中第4列图像的参数按本文式(2)确定,即为最优映射参数,且具有最丰富的血管细节,表明本文提出的方法计算出的映射参数是合理的。

图 5 不同映射参数下的增强效果对比 Fig. 5 Comparison of enhancement effects under different parameters

将本文方法的增强效果与几种常见的内窥镜图像软件增强技术进行比较,在此选择了FICE技术(日本富士公司)中的波长组合FICE0 (r500, g445, b415)和波长组合FICE9(r550,g500,b400)[14],以及I-Scan技术(德国卡尔史托斯公司)中的Spectra B[15]。对比结果如图 6所示,可见本文提出方法的血管与背景的对比度最高,而且没有明显的色彩失真。

图 6 不同增强方法下的效果对比 Fig. 6 Comparison of effects under different enhancement methods

在内窥镜场景及环境亮度变化不大的情况下,可以近似采用恒定的变换参数dgds,这时可以按照上述的对比度拉伸原理先计算一次原始图像RGB到增强图像RGB的映射表,然后根据该映射表进行图像处理,实现实时增强。在配置为Intel (R) Core (TM) i5-4400E(2.7 GHz)处理器和4 G内存的计算机下,对1280×800的图像进行增强,每幅图像平均耗时约为4.5 ms。将该算法嵌入到分辨率为1280×800内窥镜软件中,其增强显示速度可达26 f/s。图 7显示了一组用它获取的口腔内窥镜增强图像序列,其中图中数字代表帧序号,最后一幅为未进行增强的原图。

图 7 口腔内窥镜增强图像序列 Fig. 7 Oral endoscopic enhancement image sequence

为了定量评价各种算法的增强效果,引入了基于背景方差(background variance, BV)和细节方差(detail variance, DV)的客观评价标准[16],好的图像增强算法应使增强前后图像的BV值相差不大,而DV值得到显著提升[17]。对于图 6,计算得到的BV与DV值如表 1所示,可以看出对于图像(a)、(b)和(c),本文方法得到的增强图像都具有最高的DV值,而且DV/BV值也显著高于原图和其它方法得到的增强图像,由此可见本文方法可以有效增强这类内窥镜图像的血管细节。

表 1 不同增强方法下图像的BV和DV值 Table 1 BV and DV values of the images obtained by different enhancement methods
测试图片 评价指标 原图 FICE0 FICE9 Spectra B 本文方法
a DV 23.44 23.23 25.51 40.18 101.15
BV 11.51 12.78 11.88 20.53 30.72
DV/BV 2.04 1.82 2.15 1.96 3.29
b DV 40.31 40.77 49.46 62.93 151.40
BV 8.00 10.24 9.51 14.85 16.02
DV/BV 5.04 3.98 5.20 4.24 9.45
c DV 35.03 30.08 38.09 61.48 221.14
BV 11.65 13.88 12.84 21.36 47.57
DV/BV 3.01 2.17 2.96 2.88 4.64
4 总结与展望

血管增强是众多疾病采用影像诊断时所必要的一个步骤,本文针对彩色内窥镜图像提出了一种有效的彩色图像血管增强方法。本文主要完成了如下工作:首先分析了医用电子内窥镜血管图像特点,然后针对血管与背景的对比度较低的现象,提出了一种依次在RGB颜色空间和HSV颜色空间分别对图像的RGB分量及S分量进行处理的血管增强方法。最后利用本文提出的增强算法对多幅电子内窥镜图像进行了增强处理,并将该算法嵌入到了内窥镜软件中。结果表明,算法对于原始特征不明显的细小血管也具有较好的增强效果,同时可以满足实时处理显示的要求。可以相信,未来血管增强方法将在疾病的预防、分析及诊断上发挥出更大的作用。

参考文献
[1]
Fraz M M, Remagnino P, Hoppe A, et al. Blood vessel segmentation methodologies in retinal images-a survey[J]. Computer Methods and Programs in Biomedicine, 2012, 108(1): 407-433. [Crossref]
[2]
Yang S F, Cheng C H. Fast computation of Hessian-based enhancement filters for medical images[J]. Computer Methods and Programs in Biomedicine, 2014, 116(3): 215-225. [Crossref]
[3]
Oh J, Hwang H. Feature enhancement of medical images using morphology-based homomorphic filter and differential evolution algorithm[J]. International Journal of Control, Automation and Systems, 2010, 8(4): 857-861. [Crossref]
[4]
Yin X X, Ng B W H, He J, et al. Accurate image analysis of the retina using Hessian matrix and binarisation of thresholded entropy with application of texture mapping[J]. PLoS One, 2014, 9(4): e95943. [Crossref]
[5]
Ajam A, Aziz A A, Asirvadam V S, et al. Cerebral vessel enhancement using bilateral and Hessian-based filter[C]//Proceedings of 2016 6th International Conference on Intelligent and Advanced Systems (ICIAS), 2016.
[6]
Kakushima N, Yoshida M, Yamaguchi Y, et al. Magnified endoscopy with narrow-band imaging for the differential diagnosis of superficial non-ampullary duodenal epithelial tumors[J]. Scandinavian Journal of Gastroenterology, 2019, 54(1): 128-134. [Crossref]
[7]
Osawa H, Yamamoto H. Present and future status of flexible spectral imaging color enhancement and blue laser imaging technology[J]. Digestive Endoscopy, 2014, 26(S1): 105-115. [Crossref]
[8]
Kodashima S, Fujishiro M. Novel image-enhanced endoscopy with i-scan technology[J]. World Journal of Gastroenterology, 2010, 16(9): 1043-1049. [Crossref]
[9]
Jiang H P, Zhang K J, Yuan B, et al. A vascular enhancement algorithm for endoscope image[J]. Opto-Electronic Engineering, 2019, 46(1): 28-36.
姜鸿鹏, 章科建, 袁波, 等. 一种血管内窥镜图像增强算法[J]. 光电工程, 2019, 46(1): 28-36 [Crossref]
[10]
Hebden J C, Varela M, Magazov S, et al. Diffuse optical imaging of the newborn infant brain[C]//Proceedings of 2012 9th IEEE International Symposium on Biomedical Imaging, 2012: 503–505.
[11]
Preece S J, Claridge E. Monte Carlo modelling of the spectral reflectance of the human eye[J]. Physics in Medicine & Biology, 2002, 47(16): 2863-2877. [Crossref]
[12]
Robles F E, Chowdhury S, Wax A. Assessing hemoglobin concentration using spectroscopic optical coherence tomography for feasibility of tissue diagnostics[J]. Biomedical Optics Express, 2010, 1(1): 310-317. [Crossref]
[13]
Zhang H, Cao X G, Xie F Y. Digital Image Processing and Analysis[M]. 2nd ed. Beijing: Mechanical Industry Press, 2013.
张弘, 曹晓光, 谢凤英. 数字图像处理与分析[M]. 2版. 北京: 机械工业出版社, 2013.
[14]
Coriat R, Chryssostalis A, Zeitoun J D, et al. Computed virtual chromoendoscopy system (FICE): a new tool for upper endoscopy?[J]. Gastroentérologie Clinique et Biologique, 2008, 32(4): 363-369. [Crossref]
[15]
Kamphuis G M, de Bruin D M, Fallert J, et al. Storz professional image enhancement system: a new technique to improve endoscopic bladder imaging[J]. Journal of Cancer Science & Therapy, 2016, 8(3): 71-77. [Crossref]
[16]
Xu Z Y, Liu X M, Ji N. Fog removal from color images using contrast limited adaptive histogram equalization[C]//Proceedings of 2009 2nd International Congress on Image and Signal Processing, 2009.
[17]
Zhang Y, Wang H M, Zhou R Z, et al. A improved infrared image noise reduction algorithm and FPGA implement[J]. Fire Control & Command Control, 2017, 42(6): 167-170.
张勇, 王和明, 周瑞钊, 等. 一种改进的红外图像降噪算法与FPGA实现[J]. 火力与指挥控制, 2017, 42(6): 167-170 [Crossref]