HDR Imaging (5) - Image Composition_专栏

这是HDR Imaging系列的第五篇文章，之前我们介绍了几种HDR sensor的原理，不论是时域multi-exposure time，还是空域multi-sensitivity pixel或者multi conversion gain生成HDR，都是形成image exposure stack，进行multi-frame composition，从而生成HDR 图像，这一节我们就来介绍HDR image的生成过程，学术界一般叫HDR image fusion，工业界叫HDR composition，WDR frame stitching等等。

Frame compostion可以在linear domain，也可以在non-linear domain，我们以linear domain的frame composition为例。

Irradiance与pixel value

举例：Image sensor 输出3帧单曝光图像，曝光时间比为N, 形成如视频1所示的exposure stack。

3张图覆盖了从暗到亮的场景irradiance信息。

对于每个pixel位置x而言，它的irradiance, E可以用如下公式1-1表示：

Ii（x）是在第i个曝光图像位置X的像素值，Δti是其对应的曝光时间，Ne是n帧曝光。

w（Ii（x））是该像素的权重函数。

从这个公式我们一方面可以看出，HDR composition的目标，即更大地恢复原始场景的irradiance map（Lux_low ---Lux High）。

另一方面，从这个公式可以看出image composition的基本步骤：

1.像素值归一化Ii（x）/Δti, 这样不同曝光帧的像素才可以融合。

2.归一化之后的像素值与权重函数W相乘

3.对权重做归一化。

这里有两个假设，一是image stack没有发生位移的，如果前后帧图像存在位移，那么在图像融合的之前应该先做图像配置image Registration。第二个假设是图像是线性的，如果图像是非线性的，需要先对图像做线性化。

权重函数

假设image stack是没有位移的，而且是线性的，选择什么样的权重函数则是决定HDR composition的重要因素，不同的权重函数W会产生出不同的图像SNR和sensitivity。

有三个比较常用的权重函数W，如下图，蓝色曲线是DM（由Debevec和Malik提出），黄色曲线的由Robertson提出，红色曲线是由Mitsunaga和Nayar提出。

DM与R曲线都是中心权重，这样融合结果比较不容易出现错误，稳定可靠。MN曲线可以得到最大的SNR和sensitivity，但是会出现不稳定的情况。（工业界的做法比这三种权重函数要简化：Maver注）。

曝光帧数Ne是如何决定的？

决定Ne的有四个因素：场景动态范围，场景的亮度，sensor pixel的动态范围，pixel的noise profile，图像质量的倾向。

每个曝光得到的图像都表示采集一定的场景动态范围，假设单曝光图像为12bit raw图，它可以覆盖的动态范围是70dB，那么对于一个DR为120dB的场景，至少要3帧图像，曝光比为16，融合后才能达到120dB。

早期按照固定曝光比产生exposure stack的方法实现比较简单，但是并不能达到好的图像质量，根据场景实时计算曝光比与曝光帧数可以得到更好的效果。Stanford大学的Paper《Optimal Scheduling of Capture Times in a Multiple Capture Imaging System》提出以得到最大average SNR为目标的计算方法。Nvidia《Metering for Exposure Stacks》提出了一种以得到最大PSNR为目的的计算方法。

对于监控类的HDR ISP而言，大部分都是配合HDR sensor采用固定HDR帧数，曝光比实时计算产生以得到最佳的融合效果。

相机响应函数（CRF）

从HDR ISP的角度来说，获得的输入是raw图像，对于广义的图像处理而言，其处理对象经常是从相机拍摄到Jpeg图像，这些图像是经过Gamma，动态范围压缩这些非线性变换的，所以从Jpeg图像进行HDR image composition需要将图像做线性化处理，也就是要从Jpeg图反推出相机的non linear transform function ：f。

这样公式1-1 加入线性化反变换函数f，即如下公式1-2：

f-1 即inverse CRF。

求导f-1 有两种方法，Debevec&Malik'smethod，如图a，Mitsunaga & Nayar's Method 如图b. 方法b可以用校准的方法或者更好的效果。

Matlab HDR toolbox 给出了RemoveCRF 函数，可以用方法a或者b 对exposure stack进行线性化处理。

图像去伪影（De-Ghost）

时域多帧HDR融合难免因为多帧图像内容的运动或者相机的移动产生Ghost。

相机的移动所产生的artefact会产生模糊的边缘，这种问题在HDR composition中叫Misalignment，如下图

图像内容的运动经过融合产生的伪影叫Ghost，如下图

Tursun 发表了一篇《THE STATE OF THE ART IN HDR DEGHOSTING AND AN OBJECTIVE HDR IMAGE DEGHOSTING QUALITY METRIC》论文，整理了homography alignment through feature detections, optical flow methods, patch synthesis-based methods, Markov random field-based approaches, 等方法。在这些方法中patch synthesis-based methods是最好的。

对于伪影比较敏感的应用，比如车载自动驾驶，机器视觉等应用，现在更多的采用sub/split pixel技术的HDR sensor，这类sensor采用空间多sensitivity HDR，完全没有时域多帧的motion artefact。(详情请看HDR imaging（3）--sub ／split pixel HDR技术）

Image composition的流程：

如下图：

先把多曝光LDR（Low Dynamic Range)图像align,进行运动（motion）检测（有的叫ghost detection），没有运动的图像成分直接进入下边的分支：进行HDR composition，有运动的图像成分进行配准逻辑，根据一定的运动处理逻辑进行HDR composition，运动处理逻辑涉及根据硬件的成本，对于一般的ISP而言，往往会比较简化。最后把有运动和没有运动的部分assemble成为HDR image输出。