图像融合系统和方法
2019-11-22

图像融合系统和方法

一种基于对比的图像融合系统和方法,对多个图像进行处理,以便形成包括从一个或更多图像中选择的区的处理或融合图像。将图像分成图像区。如果必要,则对图像中的一部分进行滤波。通过卷积核为每个图像生成对比映象,并使得对比映象中的每个图像区都具有对比值。比较对比值,并且根据诸如选出较大或最大对比值的选择标准或过程,选择图像区。用所选出的图像区形成融合图像。如果必要,调整融合图像中一个或更多部分的亮度。选取一个传感器作为参考传感器,并确定参考传感器图像中每个区的平均亮度。通过将确定的平均亮度值和最终图像的强度值进行组合,调整最终图像中一个或更多区的亮度。

如果仅执行基于对比的图像融合和亮度纠正,那么它们通常是以所述的顺序完成。如果执行三种处理,那么一般首先执行空间预滤波,然后是基于对比的传感器融合,最后是亮度纠正。这种顺序一般会带来更有效的融合图像,同时减少了处理时间。亮度纠正在正常情况下应当在预滤波和基于对比的融合二者之后,以取得最接近所希望的亮度分布,并防止由于后续处理的结果而造成的图像亮度分布变化。通过以这种方式使用这些技术,通过使流水线延迟和数据等待时间减到最少,提高了系统性能。这些提高在图像处理时间紧张的情况下是特别有用的,例如,空运、循环中引导应用、或其它使用实时图像处理的应用。

加权函数可以通过空间滤波或其它不会引入不必要的人为因素的光滑函数来实现,例如,如下的一维高斯加权函数:α(x,y)=αMe-bm(y-y0)2+pM]]>β(x,y)=α1(1-e1b1(y-y0)2)+p1]]>其中:αm和α1确定高斯函数的最大幅度(通常是1,但是也可以用其它值来加重强调一个传感器,或补偿消隐电平值,PM和P1);bM和b1确定高斯函数宽度,即,传感器效益区或传感器信息群集区;以及y0在需要时将高斯函数的中心在图像中垂直向上和向下转移。

加权函数可以通过空间滤波或其它不会引入不必要的人为因素的光滑函数来实现,例如,如下的一维高斯加权函数:α(x,y)=αMe-bm(y-y0)2+pM]]>β(x,y)=α1(1-e1b1(y-y0)2)+p1]]>其中:αm和α1确定高斯函数的最大幅度(通常是1,但是也可以用其它值来加重强调一个传感器,或补偿消隐电平值,PM和P1);bM和b1确定高斯函数宽度,即,传感器效益区或传感器信息群集区;以及y0在需要时将高斯函数的中心在图像中垂直向上和向下转移。

图12A-B示出了一般的空间滤波器。图12A示出了用于雷达传感器产生的图像的滤波器。更具体地讲,滤波器除去雷达传感器最无效的信息,即,雷达地平线1200以上或近场1204位置的信息,而允许剩余雷达传感器信息1202通过,并且包括在对比映象中。滤掉的数据表示为暗区1200、1204。同样地,在图12B中,滤波器除去IR传感器最无效的信息,即,远场1212的信息,而允许剩余信息1210和1214通过,并包括在对比映象中。尽管图12A-B专门示出了互补的滤波器,但是熟悉本领域的人员应当知道,并不总是存在不同传感器/图像组合的情况。不同传感器可能需要不同的滤波函数。

本发明提供了一种方法和系统,有选择地组合不同传感器(这里指传感器或源图像)产生的图像区,以便利用来自传感器图像的有关信息形成处理或融合图像。该方法和系统的实现是通过将每个传感器图像划分成图像区,并且借助于诸如卷积的方式,为每个图像区产生对比值对应的映象。然后,将一个传感器图像的对比值的映象与其它传感器的对比值对应的映象比较。根据选择标准,在比较的对比值之间或对比值中选择一个对比值,例如,在比较的两个或更多的对比值中选择较大的一个。然后,利用与选定的对比值相对应的图像区形成处理图像。根据本发明,可以根据逐个像素、像素组、或任意形状的区,划分图像区。

但是,为了说明的目的,本说明书主要针对有关飞行器的图像。这种图像可以涉及飞行器的着陆、滑行、起飞、或巡航,并且与预防地形控制飞行(Controlled Flight Into Terrain(CFIT))的应用有关。作为系统如何能够在飞行器应用中使用的一个专门示例,本说明书针对处理雷达传感器和IR传感器产生的图像。但是,如下面要说明的,可以处理许多不同类型、数量、和组合的传感器和传感器图像。因此,本说明书中说明的示例系统和方法可以用于许多不同应用领域。

可以调节融合图像内的亮度分布,以产生更清楚的融合图像。亮度调节是通过确定参考传感器产生的图像区中的平均亮度值,并根据对应的确定值调节融合图像的区的强度而进行的。在图5A和5B的示例图像中,亮度调节技术是基于在传感器图像的垂直截面(例如,从地平线到近景线的天空)中变化的亮度,但是在任何水平截面中是不可预测的(例如,以任何特定仰角跨越图像)。

在一个可选实施例中,通过使用来自参考传感器图像中一条线的平均或确定的亮度值,并把它作为对处理或融合图像中的线的纠正进行应用,就可以提高处理效率,该线邻近融合图像中与参考传感器图像中确定的线相对应的线(例如,紧靠对应确定的线之上或之下的那条线)。由于连续的图像线之间的平均值一般不会发生实质变化,所以将亮度值应用到随后的线一般是可以接受的。也可以使用这种技术调节紧靠主题线之上或之下的线,或调节根据亮度变化与参考线相分离的数条线。

在以下本发明实施例的说明中,以构成本发明一部分的附图作为参考,并且这些附图示出了能够实现本发明的特殊实施例。应当知道,也可以使用其它实施例,因为结构的改变不脱离本发明的范围。

为了便于说明,图5A-B以及图6A-F中所示的相关示例图像区包括带有总体上对准或预对准图像区的相同或基本相同的图像,例如,对准或预对准的像素、像素组、或任意形状的区。也就是说,图5A-B示出了重叠的图像(100%重叠),或具有高重叠度的图像(几乎相同的传感器图像)。结果,图6A-F中的图像区在一系列的对应图像中相互对准。因此,不管如何将传感器图像划分成图像区,对象(例如,树607)总是在传感器图像内几乎相同的相对位置上,存在于两个传感器图像的相同图像区中。

发明内容