Sony的DOL（Digital Overlay） HDR技术总结
date
Apr 26, 2022
slug
2022-04-26-sony-dol-hdr-basics
status
Published
tags
Image Sensor
硬件
summary
通过对网络上查到的相关资料文档的学习，整理了Sony DOL HDR技术的工作原理与流程。
type
Post
DOL HDR与传统的Frame Based HDR的比较
Sony的部分Image Sensor可以支持两曝光（DOL-2）和三曝光（DOL-3）模式的DOL HDR技术。
- DOL-2是一张HDR图像，需在Sensor端进行长短两次曝光后，在ISP上合成为HDR图像的工作模式。因此Sensor的输出帧率是ISP输出帧率的两倍。
- DOL-3是一张HDR图像，需在Sensor端进行长-中-短三次曝光后，在ISP接收到连续的三张图像并合成为HDR图像的工作模式。因此Sensor的输出帧率是ISP输出帧率的三倍。
Sony DOL HDR模式的曝光与读出的流程大致如图所示：
在两曝光DOL模式工作的情况下，Image Sensor的每一行在曝光的时候，分别会以长和短两种曝光时间进行曝光并输出。这一点与基础的基于整个Frame的HDR技术没有差异。但是无论从曝光流程还是Readout的角度来进行对比，两者的差异都很明显：
- 从曝光的角度看：
- 传统的Frame Based Video HDR技术中，是以整个图像帧为单位进行不同曝光时间的处理。以两帧曝光HDR模式为例，先对图像整体进行一次长曝光，长曝光过程中，每一行曝光完就开始向ISP输出，第一行输出的同时第二行开始曝光并输出，以此类推；这帧长曝光的图像完整输出之后，再整体进行一次完整的短曝光然后输出。每一行两次曝光的时间差基本上就是一个frame time。30fps的话就是33ms；
- 而对于DOL模式的HDR，不是以图像帧为单位进行曝光时间的控制，而是以行为单位进行控制的。例如先进行第一行的长曝光，第一行长曝光完成后就先输出到行缓冲区中，然后同时进行第一行的短曝光和第二行的长曝光，也就是说这两行的曝光时间有一部分是重叠的，这就是名称中Overlay的由来；第一行的短曝光和第二行的长曝光完成后，同样先进入行缓冲区，然后同时继续进行第二行的短曝光和第三行的长曝光，以此类推。与此同时，行缓冲区中的已曝光行同时开始按照行1长曝光-行1短曝光-行2长曝光-行2短曝光......这样的顺序向外输出。这种曝光模式下，对于每一行而言，两次曝光的时间差非常小，基本上就是一次长曝光的时间。
- 从Readout的角度看：
- 传统的Frame Based Video HDR技术中，也是每一帧采用长短两种或者多种曝光时间进行曝光，但是在Readout的时候，必须是先把一种曝光时间的帧完整读完，然后再以另外一种曝光时间对Sensor进行曝光并读出，这样连续两帧各个行之间就会有明显的读出时间差异。以60fps输出为例，连续两帧之间的两次曝光帧的时间差异达到了16.67ms，后面ISP要把这连续的两帧合并在一起的时候，在运动场景下就会出现明显的图像拖影等问题，因为连续两次曝光的Sensor像素位置在16.67ms之后已经发生了明显的变化。
- Readout的顺序：第1行长曝光-第2行长曝光.....-第1080行长曝光-第1行短曝光-第二行短曝光......第1080行短曝光；
- DOL模式的HDR，每一行的长曝光和短曝光完成后就依次向ISP输出了，不需要完整的等待长曝光的那一帧完整送给ISP以后，才能开始短曝光那一帧的曝光和读出。这样连续两帧图像在曝光时间上的差异就会非常小。
- Readout的顺序：第1行长曝光-第1行短曝光-第2行长曝光-第2行短曝光......第1080行长曝光-第1080行短曝光；
因此，从ISP接收的角度来看，如果使用DOL HDR模式的话，也需要ISP能够支持这种模式，并设置为DOL HDR模式，从而从Sensor中能够正确的接收、解析完整图像的各行数据，并在ISP中对多帧图像进行合并操作。
DOL HDR模式存在的问题
如上所述，DOL HDR模式相比于Frame Based HDR而言，确实大大降低了每一行的长曝光和短曝光之间的时间差，从而改善了因为这个时间差导致ISP后期合并两帧图像时出现的各种图像相关的问题（尤其是运动图像的问题）。
但是DOL HDR模式对于每一行进行多重曝光，每一行的曝光时间的长度实际上就是各次曝光时间的总和，这样会导致各行之间曝光开始的时间差远远超过了单次曝光模式下的行时间差。这一点在CMOS Sensor的Rolling Shutter下，会使得果冻效应更加明显。这一点是由其完整的工作原理所限定，无法进行优化。不过果冻效应一般也就是在光线很暗曝光时间较长，以及针对高速运动的物体进行拍摄的时候才会出现，所以对于DOL HDR模式的使用而言，就需要尽可能避免这种应用场景。