2022年电子稳像技术CCD成像空间校正方法研究报告 .pdf

《2022年电子稳像技术CCD成像空间校正方法研究报告 .pdf》由会员分享，可在线阅读，更多相关《2022年电子稳像技术CCD成像空间校正方法研究报告 .pdf（10页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、个人资料整理仅限学习使用基于电子稳像技术的CCD 成像空间校正方法研究摘要：针对彩色线阵ccd 应用时，出现的成像三色错位问题进行了研究，提出了基于电子稳像技术的ccd 成像空间校正方法。与传统方法相比，该方法引入了电子稳像技术的思想，巧妙运用帧间运动的处理手段解决了帧内运动的问题。首先对线阵ccd 得到的图像进行彩色图像分离，再通过特征点提取，特征点匹配，错位参数估计，图像补偿，彩色图像合成等过程，最终获得校正后的彩色图像。仿真实验表明，该方法能有效解决三色错位问题，改善图像质量。关键词：彩色线阵ccd； 三色错位；特征点提取；特征点匹配； 参数估计近年来， ccd 器件及其应用技术的研究取

2、得了惊人的进展，特别是在图像传感和非接触测量领域的发展更为迅速。面阵ccd 广泛用于各种摄像机和数码相机等领域。线阵ccd 主要用于产品尺寸的高速非接触检测，在线分级与加工，表面质量评定，机器视觉中的精确定位等。结合课题“运动员跑步计时器工程”，对彩色线阵 ccd 应用时，出现的成像三色错位的问题进行了研究。分析了问题产生的原因，介绍了目前常规的校正方法，提出了基于电子稳像技术的 ccd 成像空间校正方法。该方法引入电子稳像技术，有效地解决了ccd 成像的三色错位问题，经matlab 仿真实验后，获得了理想的校正结果。而且该方法不仅在物体匀速运动时有效，在物体非匀速运动时同样有效。线阵ccd

3、成像技术应用于精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 10 页个人资料整理仅限学习使用运动员跑步的示意如图1 所示。1ccd 成像介绍多年前科研人员就已经实现了ccd 彩色成像，该技术的实现目前一般采用如下 2 种方法。第 1 种是彩色三 ccd，即采用分光棱镜和 3 个 ccd 组合。棱镜将光线中的红、绿、蓝三个基色分开，使其分别投射在一个块ccd 上，这样，每块 ccd 就只对 1 种基色分量感光。第 2 种是彩色单 ccd。最常用的做法就是在ccd 表面覆盖rgb 三色滤光片，以121 的比例构成。由于彩色单ccd 价格明

4、显便宜，所以占据主流市场，本研究就是针对线阵彩色单ccd 进行的。图 1 线阵 ccd 成像技术应用于运动员跑步的示意图线阵彩色单ccd 有 3 列间隔的光敏元件，分别用于感光置于同一位置p 的红、绿、蓝颜色分量，通过a/d 转换后, 再将 3 列 ccd 感光的图像数据合成复原为位置 p 物体的数字图像。然而由于这3 列 ccd 是在同一触发脉冲下工作的，这3 列 ccd 并不是对同一位置进行感光, 而是对前后有一定间隔的3 个位置分别进行感光，如图2 所示。由于这种相机本身存在不可避免的系统问题，成像3 色出现错位现象，从而影响图像的成像质量，如图3 所示。图 2 成像三色错位的原理图3

5、成像三色错位现象课题“运动员跑步计时器工程”，需在跑道的终点线附近采用高速线阵彩色单 ccd 拍摄运动员冲刺时的画面。设定采集速率为1 000 f/s ，得到的图像如图4 所示。可以发现图像产生了3 色错位精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 10 页个人资料整理仅限学习使用现象，尤其是运动员的腿部，表现明显，因为腿部的运动频率最快。图 4 线阵彩色单 ccd 拍摄的运动员跑步图像2 基于电子稳像技术的校正方法由线阵彩色单 ccd 摄像机的结构带来的这种彩色图像的三色错位, 严重影响了图像原始数据的真实性和有效性，必须加以校正

6、。目前，国内外有以下2 种主要方法，通过异步时钟控制曝光校正1，通过软件校正 2。比较以上方法可发现，软件校正不需要改变 ccd 的硬件，更具有实用性。数据冗余与数据重新定位的方法是软件校正的主要方法，但是，此种方法仅对匀速运动物体有效，而无法应用于线阵ccd 拍摄、检测非匀速物体。本文针对非匀速物体的情形，提出了采用电子稳像思想来进行软件校正。传统思维上，电子稳像技术是处理帧间运动，而ccd 的这种成像问题严格意义上属于帧内运动，但是，本文首先把线阵ccd拍摄的数十帧看做一幅图像，接着把一幅彩色图像分离成红色分量、绿色分量、蓝色分量3 幅图像，通过上述两步骤后，即可将电子稳像技术应用于线阵c

7、cd 成像。2.1 彩色图像的 r/g/b分离通过 matlab 平台，对一幅运动员的彩色图像进行r/g/b分离后的效果如图 5 所示。硬件环境为： cpu2.80 ghz ，内存 0.98 gb 。图 5 红色/ 绿色/ 蓝色分量图像 2.2 特征点提取图像的特征点是指两帧图像中对比例、旋转、平移等变换保持精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 10 页个人资料整理仅限学习使用一致性的特征，如线交叉点、物体边缘点、角点、闭区域的中心点等。常用的特征点提取方法34有：边缘点提取方法，如log 操作数、 canny 操作数、基于小

8、波变换的算法等；角点提取算法，如 kitchen法、susan 法、harris法等。harris角点检测算法 5是由 chris harris和 mike stephens 在 1988年提出的。定义下式来计算harris算法的角点响应函数： r(x,y=det(m k(tr(m2(1 式中:det(m=ab c2，tr(m=a+b 表示矩阵 m的迹； k 是 harris系数。a=(ix2，b=(iy2，c=(ix(iy。ix 表示图像 i 在 x 方向的导数，iy 表示图像 i 在 y 方向的导数。harris算法稳定性高，对噪声不敏感，基于它的优点，本文最终采用改进型 harris算法

9、进行特征点的提取。2.3 特征点匹配所谓特征点的匹配就是在当前帧中找到与参考帧中每一特征点的惟一匹配点，在帧间建立特征点的对应关系。特征点匹配的正确性，对于图像间运动估计的精度，有非常直接的影响。按图像的匹配来源分，主要可以分为2 种方式 67：一种是固定帧匹配；另一种是相邻帧匹配。这2 种方法各有优缺点，固定帧匹配方法不存在累计误差，它的缺点是一旦图像的运动超出了运动向量计算的临界值，运动向量变得不可靠以后，后续的处理将非常困难，相邻帧匹配方法的主要问题是存在累计误差。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 4 页，共 10 页个人资料整

10、理仅限学习使用根据本课题所研究的线阵ccd 成像问题的特殊性，可以把红色分量、绿色分量、蓝色分量作为3 幅图像，进行特征点匹配。在具体匹配过程中选取红色分量图像为参考帧，依次对绿色分量图像、蓝色分量图像完成特征点匹配。匹配步骤如下：(1 以特征点 pk 为中心，在参考图像中构造一个尺寸为m n的图像模块 i1 。(2 在当前图像中对应位置处，确定尺寸为 从搜索区域的中心点开始搜索，搜索路径采用菱形ds 法，计算每点的 sad 值。(4 找出最小 sad 值，则对应的位置的中心点为匹配特征点。2.4 三色错位参数估计将经过预处理后的候选全局特征点，代入六参数仿射运动模型，求最小二乘解。仿射运动模

11、型如下：xy=m0m1 m3m4x y+m2 m5(2式中(x ,y 和(x,y 分别表示当前图像和参考图像的特征点坐标， m= m0m3 m1m4 m2m5 定义为仿射参数矩阵。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 5 页，共 10 页个人资料整理仅限学习使用求解的目标是使得各特征点的位置误差达到最小，因此，提出了基于求最小二乘解的迭代步骤，每次迭代过程中将误差较大的特征点予以剔除。迭代停止后，输出的仿射参数矩阵m作为最终的全局运动参数，被保留的特征点作为最终的全局特征点集合。参数估计的整个流程图如图6 所示。图 6 参数估计流程图 2

12、.5 图像的补偿获得运动参数矩阵后，就可以分别对绿色分量图像、蓝色分量图像进行图像补偿了。其流程如图7 所示。图 7 图像补偿流程图将绿色分量图像看做当前帧，以计算出的待补偿参数矩阵对当前帧fk 的像素坐标 (xk,yk 进行变换，公式如下： xkyk=m0(km1(k m3(km4(kxk yk+m2(k m5(k(3从而得到新的坐标 (xk ,yk ，并将原坐标的像素值赋给对应的新坐标，则得到初步的补偿后图像。在坐标变换时，不一定都在整像素点上，则需要进行插值处理，采用双线性插值法。由于在坐标变换时，边界部分无法获得像素值的区域通常被填充为黑色区域，为了避免这种现象，需要对丢失的边界部分进

13、行重建。采用图像拼接技术8来实现边界部分重建是一种有效的方法。完成绿色分量图像的图像补偿后，再以相同步骤完成蓝色分量精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 10 页个人资料整理仅限学习使用图像的图像补偿，最终合成910校正后的彩色图像。3 实验结果及分析3.1 特征点提取的实验结果及分析本课题采用改进型harris算法，通过 matlab 平台对运动员的图像进行特征点提取，经过多次比较后，仿真实验中的harris系数 k 取 0.05，仿真实验结果如图8 所示。可以看出，采用改进的harris算法提取的图像特征点清晰有效。图 8

14、 图像的特征点提取结果3.2 特征点匹配的实验结果及分析选取运动员的红色分量图像为参考帧，绿色分量图像为当前帧，进行第一次匹配，匹配结果如图9 所示。图 9 绿色分量图像的特征点匹配结果其中绿色“+”代表有效匹配特征点，可以看出，运动员的多数特征点得到了有效匹配。依然选取运动员的红色分量图像为参考帧，蓝色分量图像为当前帧，进行第 2 次匹配，匹配结果如图10 所示。图 10 蓝色分量图像的特征点匹配结果其中绿色“+”代表有效匹配特征点，依然可以看出，多数特征点得到了有效匹配。3.3 参数估计的实验结果及分析实验图片依然选用同上的一组运动员图像，求取仿射参数矩阵m=m03 m1m4 m2m5 。

15、分别求出绿色分量图像和蓝色分量图像的结果为：m绿0.990 50.032 3 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 7 页，共 10 页个人资料整理仅限学习使用-0.021 10.987 4 15.587 0-3.667 6 m蓝=0.987 80.035 0 -0.022 30.986 8 15.567 8-3.669 43.4校正后的实验结果及分析根据运动参数矩阵，分别对绿色分量图像，蓝色分量图像进行图像补偿，并合成彩色图像。可以发现，校正后图像的3 色错位问题得到一定解决，图像质量有一定提高。校正结果如图11 所示。4 结语本课题研

16、究了线阵彩色单ccd 成像时出现的 3 色错位现象，揭示了 3 色错位的本质原因，并探索性的给出了基于电子稳像技术的软件校正方法。在matlab 平台上，进行了仿真实验，初步得到了满意的校正效果。将该方法应用于“运动员跑步计时器工程”，能获得更优的监控图像，从而提高计时精度。图 11 图像最终校正结果参考文献1张鹏，杨凯，张忠臣 . 彩色线阵 ccd 颜色几何失真及校正方法 j . 现代电子技术， 2009,32(24:131133. 2陈文涛 , 刘永贵 ,曹晓莉 . 平列式线阵彩色 ccd 摄像机的色彩偏移与校正 j . 光电技术应用， 2006(9:478450. 3vanne j, h

17、amalainen t d, kuusilinna k. a parallel memory system for variable blocksize motionestimation 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 8 页，共 10 页个人资料整理仅限学习使用algorithms j. circuits and systems for video technology, 2008, 18(4: 538543. 4sun hui. fast gray projection algorithm and its application

18、 to electronic image stabilization j. optics and precision engineering, 2007, 15(3: 412416. 5朱娟娟 . 电子稳像理论及其应用研究d. 西安：西安电子科技大学， 2009. 6suk jung youp, lee gunwoo. new electronic digital image stabilization algorithm in wavelet transform domain m. lncs, heidelberg: springer, 2005: 911916. 7erturk s. di

19、gital image stabilization with sub image phasecorrelation based global motion estimation j. ieee trans. on consumer electronics, 2003, 49(4: 13201325. 8杨毅 . 电子稳像算法研究与实现d. 南京：南京理工大学，2009. 9xu jianbin. an efficient rotationinvariance remote image matching algorithm based on feature points matching c/

20、proceedings of ieee international geoscience and remote sensing symposium s.l.: ieee, 2005: 647649. 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 9 页，共 10 页个人资料整理仅限学习使用10harris c, stephens m. a combined corner and edge detector c/ proceedings of the 4th alvey vision conference. uk: avc, 1988: 147151. 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 10 页，共 10 页