首页 理论教育渐入渐出的图像融合算法方案

渐入渐出的图像融合算法方案

【摘要】:目前常用的图像融合方法主要有直接平均融合、加权平均融合和多分辨率融合等。虽然该方法拼接质量很高,但是计算过于复杂,不适宜大场景的准实时拼接;本书采用了加权平均方法中的渐入渐出融合算法,在保证航拍图像序列准实时拼接的同时,实现了图像内容的平滑过渡。

由于进行航拍图像序列采集时拍摄条件的变化以及配准误差等因素的影响,叠加后的图像将不可避免地存在如光照变化、色彩差异、几何形变等诸多问题,从而在拼接结果中引入一些视觉上不连续的条带。如何消除这种拼接痕迹,使得图像过渡更加自然,这正是图像融合技术着力解决的难题。

现有的图像融合技术通常在像素级、特征级和决策级三个层次进行,如图5-8所示。其中,像素级图像融合是在基础层面上进行的信息融合,也是目前在实际中应用最广泛的图像融合方式,其思想是直接进行图像信息的综合而得到融合图像。图像拼接中的融合主要针对两幅图像重叠区域的平滑过渡,一般不需要进行高层次的数据融合,只是在像素级上进行处理就可以了。

目前常用的图像融合方法主要有直接平均融合、加权平均融合和多分辨率融合等。直接平均融合是将配准后图像之间的重叠区域对应像素点的灰度值直接进行叠加再求平均,相当于对图像进行了低通滤波。该方法简单但是通用性较差,最终图像中往往有较为明显的拼接痕迹,如果场景中存在运动目标还会产生“鬼影(ghost-like)”现象;多分辨率方法采用图像金字塔结构,将原始图像分解成不同频率上的一组图像,在每个分解的频率上,将图像重叠边界附近加权平均,最后把所有频率上的合成图像汇总成一幅。在每一个频率带内,加权函数的系数以及颜色融合区域的大小,是由两幅图像的图像特征在该频率带内的差异决定的,这样可以使得具有不同强度的图像平滑的过渡。虽然该方法拼接质量很高,但是计算过于复杂,不适宜大场景的准实时拼接;本书采用了加权平均方法中的渐入渐出融合算法,在保证航拍图像序列准实时拼接的同时,实现了图像内容的平滑过渡。

978-7-111-38182-2-Chapter05-11.jpg

图5-8 图像融合的层次

渐入渐出融合算法是由Szeliski[184]提出的,设f1f2是两幅待拼接的图像,将它们按照线性加权的方法进行融合,融合后的图像像素f可表示为

978-7-111-38182-2-Chapter05-12.jpg(https://www.chuimin.cn)

式中,d1d2表示与重叠区域的宽度有关的权重值,并且d1+d2=1,0≤d1d2≤1。假设当前像素的横坐标为xi,重叠区域左右边界的横坐标分别为xlxr,那么在重叠区域中d1由1渐变至0,d2由0渐变至1。

978-7-111-38182-2-Chapter05-13.jpg

在对单程航拍的图像序列进行拼接时,采用上述方法,仅针对相邻两幅图像的x方向上作了平滑过渡,基本可以满足需求。如果图像序列是盘旋拍摄或者沿“几”字形路线拍摄的情况下,就需要进一步考虑到多幅图像、各个方向上的平滑[185]。本书在融合算法中为图像的每个像素分配权重,这个权重与像素到图像边缘的距离成正比:

978-7-111-38182-2-Chapter05-14.jpg

式中,w是单调函数,一般取w (x)=xIkxy)是第k幅图像在(xy)点的灰度值。d (xy)的计算可以简单地取(xy)点到图像四条边的最小距离。