光电工程  2019, Vol. 46 Issue (1): 180112      DOI: 10.12086/oee.2019.180112     
胶囊内窥镜像素数的匹配率和分辨有效性评价法研究
贾晓航1 , 张沁园1 , 颜青来1 , 杨仕明2 , 陈德宝1     
1. 浙江省医疗器械检验研究院,浙江 杭州 310018;
2. 中国人民解放军第三军医大学,重庆 400037
摘要:针对胶囊式内窥镜,建立了全视场光学分辨率与像素数匹配水平的评价,以及像素数分辨有效性的评价方法。该方法通过选择过面阵传感器行或列扫描水平的光轴截面为分析用子午面,以光学分辨角和像素元投射角为分析单元导出线分辨元数、线像素数有效率、视场中心匹配率及全视场最大匹配率,并采用球面视场的分辨距与分辨角简易转换来简化测量方法。这些参数构成了胶囊式内窥镜像素数的匹配率和分辨有效性的评价依据,可为产品设计分析、评价及修改提供参考依据。
关键词胶囊式内窥镜    匹配率    分辨有效性    像素数    
The study of the methods for evaluating the matching rate of capsule endoscope pixels and its resolution effectiveness
Jia Xiaohang1, Zhang Qinyuan1, Yan Qinglai1, Yang Shiming2, Chen Debao1     
1. Zhejiang Institute of Medical Device Testing, Hangzhou, Zhejiang 310018, China;
2. Third Military Medical University, Chongqing 400037, China
Abstract: The evaluation for the matching level between the optical resolution and the pixels number on the full field of view of the capsule endoscope, and the evaluation methods for the resolution effectiveness of pixels number were established. This method selects the horizontal optical axis section as the meridian plane to analyze. The section passing through the planar array sensor is row or column scanned. The line resolution elements number, the line pixel efficiency, the center field matching rate, and the full field maximum matching rate were derived by the analysis unit using the optical resolution angle and the pixel element projection angle. The simple conversion method of resolution length and resolution angle on the spherical field of view can simplify the measurement. These parameters not only constitute the evaluation basis for matching ratio and resolution validity of the pixel number of the capsule endoscope, but also offer a reference for product design, analysis and modification.
Keywords: capsule endoscope    matching rate    resolution effectiveness    pixel    

1 引言

胶囊内窥镜诊断术是消化道疾病诊断非常热门的研究方向,具有检查方便、无创伤、无导线、无痛苦、无交叉感染、不影响患者的正常工作等优点,扩展了消化道检查的视野,克服了传统的插入式内窥镜所具有的耐受性差、不适用于年老体弱和病情危重等缺陷,可作为消化道疾病尤其是小肠疾病诊断的首选方法。其原理是受检者通过口服内置摄像与信号传输装置的胶囊,借助消化道蠕动使之在消化道内运动并拍摄图像,医生利用体外的图像记录仪和影像工作站,了解受检者的整个消化道情况,从而对其病情做出诊断。

像素数是光学成像面传感器类产品的一个重要性能参数,表示了产品成像分辨性能的水平。对于光学系统集成于一体不可拆卸的胶囊式内窥镜等医用类产品,像素数常常暗示着产品光学分辨性能的优劣。按像素单元与光学分辨单元尺度一一匹配理想的设计,与校正了像差的光学系统可用数值孔径来表示光学分辨水平一样,像素数可以表征产品光学分辨性能[1-2]。但是,为防止光学分辨率高于奈奎斯特频率时产生莫尔效应[3],以视场中心为基点的光学分辨率大部分都低于奈奎斯特频率。由于目前缺乏测试和评价方法,缺乏对全视场匹配水平的了解,常常会由于局部视场过匹配带来的莫尔条纹现象而不得不进一步降低视场中心的匹配水平,导致像素数的分辨作用明显下降,实际像素数的有效率极低。目前,市场上标称相同像素数的产品,其分辨率差异较大。因此,关注像素数与光学分辨率全视场的匹配设计水平,评价像素数的分辨有效性很有意义。本文从胶囊式内窥镜着手,展开像素数全视场的匹配水平和分辨有效性评价方法研究。

2 分析用轴截面和视场选择

对胶囊式内窥镜等轴对称医用光学产品,进行像素数的分辨有效性和匹配水平的分析和评价,选择在过面传感器行或列扫描水平的光轴截面上进行,该子午面简称分析面。胶囊式内窥镜在分析面上的物-像关系示意图如图 1所示,P'为光学像面传感器,a为胶囊式内窥镜顶点至入瞳距离,d为工作距,2W为该截面上最大入瞳视场角。满足临床应用的胶囊式内窥镜需有一定的景深,YY1298-2016[4]标准规定为景深不小于20 mm。因此,在景深内任何d处,P'的物面可以是物-像共轭物面按主光线延伸的任意投射面,例如是某曲面C或球面Sr或垂轴平面P

图 1 胶囊镜物-像关系示意图 Fig. 1 Object -image relationship diagram of capsule endoscopes

对于有景深要求的光学系统,景深内物面上的分辨距随工作距不同及物面形状不同而变化,但对应分辨距的分辨角不变。为方便分辨距与分辨角的转换,选择图 1中圆心在入瞳上,半径为$d{\text{ + }}a$的球截面${S_{\text{r}}}$为适宜的分析用子午线视场,简称${S_{\text{r}}}$视场。

3 线分辨元数和测试方法

临床应用中有意义的光学分辨水平依据的不是像素数,而是物方分辨单元数,表征在子线视场上的物方分辨单元数可称为线分辨元数。

图 1中设某入瞳视场角$w$处的极限分辨角为${\alpha _w}(w = 0 \sim W)$,对应${S_{\text{r}}}$视场上的分辨距为$\Delta {l_w}$,当$w$为0时,${\alpha _0}$为轴上分辨角,对应视场中心分辨距为$\Delta {l_0}$。在图 1分析面上$2W$范围内,分辨角从${\alpha _0}$开始沿子午线两端连续排列有数列:

$ {\alpha _{ - {n_0}/2 + 1}}, \cdots , {\alpha _{ - 1}}, {\alpha _{\text{0}}}, {\alpha _{\text{1}}}, \cdots , {\alpha _i}, \cdots , {\alpha _{{n_{\text{0}}}{\text{/2}}}}, $

${n_0}$个分辨角单元,对应物方子午线上的分辨距弧段也有${n_0}$个,${n_0}$就是线分辨元数,${n_0}$的实际意义可理解为线有效像素数。数列${\alpha _i}$与入瞳视场角$w$关系:

$ {\alpha _i} = {w_i} - {w_{i - 1}} = \Delta {w_i}。$ (1)

于是${n_0} = 2\sum\nolimits_{i = 1}^{{n_0}/2} {(1/{\alpha _i})\Delta {w_i}} $。由于$\Delta {w_i}$很小,可认为在$\Delta {w_i}$${\alpha _w} = {\alpha _i}$,则在${\text{d}}w$范围内分辨角单元数有${\text{d}}w/{\alpha _w}$个。设角分辨力${r_\alpha }$[5]函数为$r(w)$,有:

$ r(w) = \frac{1}{{{\alpha _w}}}, $ (2)

$r(w)$即为分辨角密度函数。n0可由积分式求得:

${n_0} = 2\int_0^W {r(w)} {\text{d}}w。$ (3)

在分析面上,设$P'$的线像素数为n,则${n_0}/n$就表示线像素数有效率。

${S_{\text{r}}}$视场时从图 1$r(w) = (a{\text{ + }}d)/\Delta {l_w}$,于是$r(w)$可通过测值拟合建立。在图 1所示的半视场上均匀选点并记为${w_j}(j = 1, 2, \cdots )$,其中测点$j = 1$${w_1} = 0$,分别测量对应的$\Delta {l_{{w_j}}}$,再计算得到各测点${r_{{w_j}}}$后拟合求得函数$r(w)$。精确的拟合可采用三次样条插值法。如果测点j足够多,式(3)可改用$\Sigma $求和公式简单计算。

4 线像素数的匹配率和测试方法

${n_0}/n$值表示的线像素数有效率可以是总体的评价,但无法了解各位置像素单元与分辨单元间的匹配细节和全视场范围的匹配状况。为此,进一步进行像素单元与分辨单元间匹配的评价分析。

图 1${S_{\text{r}}}$视场条件,将图 1的物-像关系变为像素元投影关系,见图 2图 2中,P'的像素元尺寸b'在物面中心的投射尺寸为b0,对应的投射角为${\varepsilon _0}$;某入瞳视场角w投射在Sr物面上的尺寸为bw,对应轴外的投射角为${\varepsilon _w}$l'为P'上的子午线全长,$l'{\text{ = }}nb'$n为子午线像素数。设$w$处的线匹配率为${k_w}$,则有:

${k_w} = \frac{{{\varepsilon _w}}}{{{\alpha _w}}},$ (4)
图 2 胶囊镜像素元投影关系图 Fig. 2 Pixel element projection diagram of capsule endoscopes

${k_w}$可以理解为某$w$处一个像素单元占一个分辨单元尺度位置的份额。若${k_w} = 1$,表示该$w$处的像素单元与分辨单元理想匹配。

线匹配率具有以$w$为变量的函数关系,记为$k(w)$。函数$k(w)$反映了像素单元与分辨单元在全线视场上的匹配关系。当用视场中心线匹配率${k_0}$和以${k_0}$为基底的相对函数${k_{\text{r}}}(w)$分别表示时,${k_0}$直观反映了以视场中心为设计基点的分辨率与像素元间的匹配水平,${k_{\text{r}}}(w)$除反映了轴外与轴上匹配率的一致性外,还反映了轴外角分辨率与单位相对畸变[5-6]的对应变化关系:

$\left\{ \begin{gathered} {k_0} = \frac{{{\varepsilon _0}}}{{{\alpha _0}}} \hfill \\ {k_{\text{r}}}(w) = \frac{{k(w)}}{{{k_0}}} = \frac{{{\alpha _0}}}{{{\alpha _w}}} \cdot \frac{{{\varepsilon _w}}}{{{\varepsilon _0}}} \hfill \\ \end{gathered} \right., $ (5)

式中:${\alpha _0}/{\alpha _w}$反映了轴外角分辨率随w的变化情况,${\varepsilon _w}/{\varepsilon _0}$反映了畸变随w的变化情况。若在$0 \sim W$范围${\alpha _0}/{\alpha _w}$变化与${\varepsilon _w}/{\varepsilon _0}$变化相抵,则可认为全视场匹配一致。

${S_{\text{r}}}$视场时,从图 1图 2知,${\alpha _w} = \Delta {l_w}/(a{\text{ + }}d)$${\varepsilon _w} = {b_w}/(a{\text{ + }}d)$,则${\alpha _0}/{\alpha _w} = \Delta {l_0}/\Delta {l_w}$${\varepsilon _w}/{\varepsilon _0} = {b_w}/{b_0}$。轴外单位元放大率${m_w}$${m_0}$之比[7-8]${m_w}/{m_0} = (b'/{b_w})/(b'/{b_0})$,即${b_w}/{b_0} = {m_0}/{m_w}$,则${k_{\text{r}}}(w)$可转变为

${k_{\text{r}}}(w) = \frac{{\Delta {l_0}/\Delta {l_w}}}{{{m_w}/{m_0}}}。$ (6)

于是${k_{\text{r}}}(w)$可通过测值拟合建立。在W范围内均匀选择${w_j}(j = 1, 2, \cdots , $其中${w_1} = 0$),分别测量和测算对应的$\Delta {l_0}$$\Delta {l_{{w_j}}}$${m_{{w_j}}}/{m_0}$,再计算得到各测点的${k_{r, {w_j}}}$后拟合求得${k_{\text{r}}}(w)$。精确的拟合可采用三次样条插值法。理论上${m_{{w_j}}}$可以测量$\Delta {l_{{w_j}}}$在像方的$\Delta {l'_{{w_j}}}$后算得,但$\Delta {l'_{{w_j}}}$很接近于$b'$,测量误差很大。实用测试可参照YY0068.1-2008标准中畸变的测试方法,将直径为e的圆视标放置在${S_{\text{r}}}$子午线上各${w_j}$位置,在成像显示屏上分别测量对应的圆视标像${e'_{{w_j}}}$以抵消$P'$至显示屏间的放大影响,再按${m_{{w_j}}}/{m_0} = {e'_{{w_j}}}/{e'_0}$计算。

${k_0}$的获取有如下两种方法:

1) 间接方法。令函数$p(w) = 1/{\varepsilon _w}$$p(w)$就是像素单元投射角密度函数,显然,$p(w)$$r(w)$$k(w)$存在$p(w) = r(w)/k(w)$关系。由前述${n_0}$的算法可知,$n = 2\int_0^W {p(w){\text{d}}w} $。若设${p_{\text{r}}}(w) = r(w)/{k_{\text{r}}}(w)$为像素元投射角密度特征函数,见式(7),因此${k_0}$可按式(8)求得。

${p_{\text{r}}}(w) = {k_0} \cdot p(w), $ (7)
${k_0} = \frac{2}{n}\int_0^W {{p_{\text{r}}}(w){\text{d}}w}。$ (8)

由关系式$r(w)/{k_{\text{r}}}(w)$导出${p_{\text{r}}}(w)$的应用并不方便。实用上可采用拟合法。在${S_{\text{r}}}$视场时同理,即:

$ {p_{\text{r}}}(w) = \frac{{{k_0}}}{{{\varepsilon _w}}} = \frac{1}{{{\alpha _0}}} \times \frac{{{\varepsilon _0}}}{{{\varepsilon _w}}} = \frac{{a{\text{ + }}d}}{{\Delta {l_0}}} \times \frac{{{m_w}}}{{{m_0}}}。$

显然${p_{\text{r}}}(w)$是单位畸变的函数。采用和${k_{\text{r}}}(w)$的建立相似的测量和拟合,得到函数${p_{\text{r}}}(w)$,再按式(8)可得${k_0}$

2) 近似方法。如果简单评估,有一个简便近似方法获取${k_0}$。考虑到平均匹配率$\bar k \approx {n_0}/n$,即${n_0}/n \approx {k_0} \cdot {\bar k_{\text{r}}}$,而${\bar k_r} = \int_0^W {{k_{\text{r}}}(w){\text{d}}w/W} $,则${k_0}$近似得:

$ {k_0} \approx \frac{{{n_0}}}{n} \cdot \frac{W}{{\int_0^W {{k_{\text{r}}}(w){\text{d}}w} }}。$ (9)

通过若干个测试比对表明,上述两种方法偏差不超过5%。

得到函数${k_{\text{r}}}(w)$${k_0}$后就可方便地得到线匹配率函数$k(w)$,以及最大匹配率${k_{w, m}}$和它的位置${w_m}$,利于识别光学分辨率高于奈奎斯特频率的可能发生点。

另外,通过$k(w)$${k_{\text{r}}}(w)$还可以分析评价匹配率全视场绝对不一致性或相对不一致性的情况。比如,设想匹配率不一致性的普通状况是${k_w}$围绕${k_0}$偏离,采用极差分析方法可评价偏离水平。

5 评价应用举例

下面用两个不同厂家的胶囊式内窥镜产品测评举例。以过行扫描水平的轴截面为分析面,测试入瞳距$a + d$统一在8 mm处。A厂家W为57.5°,n为480;B厂家W为56.4°,n为480。在图 1图 2所示Sr视场测试及测算数据见表 1,结果见表 2图 3图 4

表 1 测试及测算数据 Table 1 Test and calculate data
wj 15° 25° 35° 45°
Manufacturer A 's product Δlwj 71.3 71.3 71.3 75.5 82.4
mwj/m0 1 0.950 0.900 0.825 0.725
Manufacturer B 's product Δlwj 40.0 40.0 40.0 42.4 47.6
mwj/m0 1 0.966 0.897 0.793 0.621

表 2 测试结果 Table 2 Test result
参数 n0 n0/n k0 kw, m wm
Manufacturer A 's product 211.5 0.44 0.4 0.5 57.5
Manufacturer B 's product 367.1 0.76 0.66 1.04 56.4

图 3 A厂家产品函数曲线 Fig. 3 The function curve of manufacturer A 's product

图 4 B厂家产品函数曲线 Fig. 4 The function curve of manufacturer B 's product

表 2测试结果中,A、B两产品的线分辨元数n0相差很大,即线有效像素数相差很大,这对于视场大小相似的两产品,表现在实际临床应用中B产品的总体分辨水平远高于A产品。n0/n表示线像素数有效率,由于实际两产品的线像素数参数是一样,因而两产品线像素数有效率水平产生很大差异。从设计角度分析,根本原因是A、B两产品的匹配水平相差甚远。A产品的视场中心匹配率k0是0.44,远低于B产品的0.76,表明A产品的光学设计不到位。仅以上看,B产品的综合水平明显高于A产品。进一步看kw, m发现,B产品的kw, m为1.04,处于光学分辨率与奈奎斯特频率的匹配临界点,尤其是该位置有丰富细节时,易在wm位置产生莫尔条纹。测试时也确实发现偶有局部莫尔条纹现象(见图 5)。这在临床应用中失分。这种现象的产生可从图 4中分析出原因。图 4图 3中的分辨角密度函数r(w)、线匹配率相对函数kr(w)曲线有相似性,一个共同点是${k_{\text{r}}}(w)$随视场角w单调递增,根本原因就是体现畸变特性的像素元投射角密度特征函数pr(w)与r(w)不同步,畸变随视场的变化率大于线分辨率随视场的变化率。通过这些数据和函数曲线,厂家很容易发现设计问题并进行对症改进。

图 5 某款胶囊内窥镜拍摄到的莫尔条纹现象 Fig. 5 The Moiré fringe captured by a capsule endoscope
6 结论

选择过面传感器行或列扫描水平的光轴截面为分析用子午面,开展有效像素数和匹配水平分析研究,所提出并导出的线分辨元数n0、线像素数有效率n0/n、视场中心匹配率k0,以及最大匹配率(wmkw, m)概念和方法,可以构成像素数的分辨有效性系统评价依据。n0n0/n值可直观反映分辨总体水平和像素有效性;k0可直观描述设计匹配水平;(wmkw, m)可提供有无存在莫尔干涉现象的可能判断。此外,分辨角密度函数r(w)、线匹配率相对函数${k_{\text{r}}}(w)$和像素元投射角密度特征函数pr(w)三个分析用基础函数可给出进一步的细节评价,${k_{\text{r}}}(w)$描述了像素单元与分辨单元的匹配率随视场变化细节,直观明了反映全视场的匹配水平,r(w)结合pr(w)可直接反映出角分辨率与单位畸变的变化率随视场的变化率细节及同步性差。本文的研究结果可为产品设计分析、评价及修改提供参考依据。

参考文献
[1]
Nakamura J. Image Sensors and Signal Processing for Digital Still Cameras[M]. Xu J T, Gao J, Nie H M, trans. Beijing: Tsinghua University Press, 2015. Nakamura J.
数码相机中的图像传感器和信号处理[M].徐江涛, 高静, 聂海明, 译.北京: 清华大学出版社, 2015.
[2]
王庆有. 图像传感器应用技术[M]. 2版. 北京: 电子工业出版社, 2013.
[3]
Chen Y. Study of CMOS vertical integrated pixel and image sensor[D]. Hangzhou: Zhejiang University, 2009.
陈远.基于垂直层叠结构的CMOS像素和图像传感器研究[D].杭州: 浙江大学, 2009.
[4]
Jia X H, Zhang Q Y, Duan X D, et al. Medical endoscopes—Capsule endoscopes: YY 1298-2016[S]. Beijing: China Standard Press, 2018.
贾晓航, 张沁园, 段晓东, 等.医用内窥镜胶囊式内窥镜: YY 1298-2016[S].北京: 中国标准出版社, 2018.
[5]
Jia X H, He T, Yan Q L, et al. Medical endoscopes—rigid endoscope—Part 1: optical properties and test methods: YY 0068.1-2008[S]. Beijing: China Standard Press, 2009.
贾晓航, 何涛, 颜青来, 等.医用内窥镜硬性内窥镜第1部分: 光学性能及测试方法: YY 0068.1-2008[S].北京: 中国标准出版社, 2009.
[6]
Jia X H, Yan Q L, Wen Y. Evaluation base and method of medical rigid endoscope distortion[J]. Acta Optica Sinica, 2006, 26(8): 1226-1230.
贾晓航, 颜青来, 文燕. 医用硬性内窥镜畸变的评定基础和方法[J]. 光学学报, 2006, 26(8): 1226-1230 [Crossref]
[7]
Liu M C, Zhang L, Liu P P, et al. Design of lens for 3 mega-pixel mobile phone camera[J]. Journal of Applied Optics, 2008, 29(6): 944-948.
刘茂超, 张雷, 刘沛沛, 等. 300万像素手机镜头设计[J]. 应用光学, 2008, 29(6): 944-948 [Crossref]
[8]
Gu J D, Xiang Y. Optical system design of electronic endoscope[J]. Journal of Changchun University of Science and Technology (Natural Science Edition), 2015, 38(2): 18-20, 24.
谷俊达, 向阳. 电子内窥镜光学系统设计[J]. 长春理工大学学报(自然科学版), 2015, 38(2): 18-20, 24 [Crossref]
[9]
Wang J H, Lu J H, Xu M. Optical design of the single-chip capsule endoscopt with harmonic diffraction surface[J]. Laser & Optoelectronics Progress, 2012, 49(12): 122203.
王军华, 卢景红, 徐敏. 含有谐衍射面的单片式胶囊内窥镜光学设计[J]. 激光与光电子学进展, 2012, 49(12): 122203 [Crossref]
[10]
Zhu J W, Ding G L. Design of an ultra-small wide-angle medical endoscope lens[J]. Laser & Optoelectronics Progress, 2014, 51(9): 181-186.
朱佳巍, 丁桂林. 一款超小型广角医用内窥镜镜头的设计[J]. 激光与光电子学进展, 2014, 51(9): 181-186
[11]
Zhang Y H, Huang Z H. The progress of capsule endoscope technology[J]. Modern Instruments, 2006, 12(4): 4-7.
张艳辉, 黄战华. 胶囊内窥镜技术的研究进展[J]. 现代仪器, 2006, 12(4): 4-7 [Crossref]
[12]
吕联荣, 姜道连, 田春苗. 电视原理及其应用技术[M]. 天津: 天津大学出版社, 2001.
[13]
Guo X, Zhang W, Su J H, et al. Design of a focus-tunable capsule endoscope system[J]. Acta Photonica Sinica, 2015, 44(5): 0522004.
郭鑫, 张薇, 速晋辉, 等. 可调焦胶囊内窥镜光学系统设计[J]. 光子学报, 2015, 44(5): 0522004 [Crossref]
[14]
Ye B, Wang L Q, Shi Y, et al. High resolution miniaturized CMOS camera module for medical electronic endoscope[J]. Acta Photonica Sinica, 2010, 39(11): 1951-1955.
叶斌, 王立强, 石岩, 等. 高清医用电子内窥镜微型CMOS摄像模组(英文)[J]. 光子学报, 2010, 39(11): 1951-1955 [Crossref]
[15]
Ding Q, Wang H N. An imaging technique of microcapsule endoscope using a GRIN lens[J]. Acta Photonica Sinica, 2004, 33(7): 889-892.
丁琴, 王惠南. 采用GRIN透镜的微胶囊内窥成像技术[J]. 光子学报, 2004, 33(7): 889-892 [Crossref]
[16]
Tseng Y C, Han P, Hsu H C, et al. A flexible FOV capsule endoscope design based on compound lens[J]. Journal of Display Technology, 2016, 12(12): 1-7. [Crossref]
[17]
Ouyang M, Jeng W D. Design and analysis of radial imaging capsule endoscope (RICE) system[J]. Optics Express, 2011, 19(5): 4369-4383. [Crossref]