车载摄像头–ISP图像处理2
⑥ LSC(Lens Shade Correction)– 镜头阴影校正:
产生原因:通过镜头后,到达 Sensor 中间的光多于边缘的光。
处理方法:检测出图像中间亮度比较均匀的部分,以此为中心,算出周围区域需要补偿的因子。
图 6 LSC 效果前后对比(右图为较正后)
⑦ DPC(Defect Pixel Correction)– 坏点较正
产生原因:Sensor 上有坏的像素点。
处理方法:在 RGB 域上做 5×5 的评估,如果某个点和周围的点偏离度超过阈值的点为坏点,对找到的坏点做中值滤波,替换原来的值。
⑧ DNS(De-Noise)– 去除噪声
产生原因:Sensor 的模拟电路难免引入信号噪声。
处理方法:图像降噪处理有均值滤波、高斯滤波、双边滤波等。
⑨ CCM(Color Correction Matrix)– 颜色较正
产生原因:Sensor 滤光板处各颜色块之间的颜色渗透带来的颜色误差。
处理方法:通过与标准图像相比较,计算得到一个较正矩阵,通常用 3×3 矩阵形式。
图 7 CCM 较正效果(右图为较正后)
⑩ RGB Gamma– Gamma校正
产生原因:Sensor 是线性感知亮度,人眼对暗部细节比 Sensor 敏感。
处理方法:查表法实现,即根据一个 Gamma 值,将不同亮度范围的理想输出值在查找表中设定好,在处理图像时,再根据输入的亮度得到理想的输出值。
图 8 人眼与 Sensor 对亮度的感知曲线
⑪ RGB TO YUV — 色彩空间转换
产生原因:在 YVU 色彩空间上进行彩色噪声去除、边缘增强等图像处理更方便。
处理方法:RGB 和 YUV 转换有固定公式,在 YUV 家族中大多指 YCbCr,其转换如下
Y=0.299R+0.587G+0.114B
Cb=0.564(B-Y)
Cr=0.713(R-Y)
R=Y+1.402Cr
G=Y-0.344Cb-0.714Cr
B=Y+1.772Cb
⑫ Color denoise/Sharpness – 色彩降噪和锐化
产生原因:对 YUV 色彩空间降噪处理,同时消除降噪过程中对图像细节的损失。
处理方法:采用低通滤波器进行处理,例如使用 M*N 的高斯低通滤波器在色度通道上处理。
图 9 锐化效果(右图为锐化后)
⑬ HDR(High-Dynamic Range)– 高动态范围
产生原因:Sensor 在一定曝光量下的较暗部分或较亮部分的细节显示不充分。
处理原理:主要通过 Tone mapping(色调映射)的方法,首先要根据当前的场景推算出
场景的平均亮度,再根据这个平均亮度选取一个合适的亮度域,最后将整个场景映射到这个亮度域得到正确的结果。
图 10 ISP 处理流程图
ISP 的原理看似简单,但真正要把摄像头图像质量调好,是需要很多调整的策略,加上各功能模块间是相互影响的,比如 3A 算法(上文介绍的 AWB、AEC、AF),这就需要 ISP 工程师大量的经验和反复的调校。
注:资料来源于网络