车载摄像头–ISP图像处理1

ISP 全称 Image Signal Processor，即图像信号处理器，它把 Sensor 输出的 Raw 数据进行处理，使之成为符合人眼真实生理感受的信号，并加以输出，主要包含四个部分：

① Sensor 的控制器，大部份的控制指令还是交由 ISP 来实现。

② 信号处理的算法，Sensor 从光转电的过程中会有一致性不好等问题，需要通过一系列算法还原出图像。

③ 图像算法，从 Sensor 得到图像后，需要调整成像效果以生成人类预期的图片质量。

④ 接口格式，为减少存储空间和传输带宽，需将 Raw data 转成 YUV 等格式输出给后端处理芯片。

由于摄像头模组的镜头与 Sensor 的物理缺陷，导致成像过程中发生一系列影响图像质量的问题，ISP 就是为了解决这些问题而存在，常见有以下处理算法：

① Debayer – 去马赛克：

产生原因：Sensor 上采用了 Bayer 色彩滤波阵列，每个像素点感知的色彩不完全，这在上篇文章中有介绍。

图 2 Bayer 色彩滤波阵列

图 3 经过 Bayer 后的色彩效果

处理方法：在补充图 3 中白色像素点的数值时，可以认为每个白色像素点的值和它附近的同色点值相近，最简单的方法采用内插法。

图 4 内插法原理

② AWB（Automatic White Balance）– 自动白平衡

产生原因：Sensor 容易受到光源颜色的影响，例如在低色温下偏黄，在高色温下偏蓝。

处理方法：利用 Gray World 算法，调整 R/B 增益，达到 R、G、B 相等。首先检测图像中的白色位置，然后计算 R、B 的调整增益，最后矫正整幅图片的色温。

图 5 自动白平衡效果对比

③ AEC（Automatic Exposure Control）– 自动曝光

产生原因：不同场景下，光照强度差异大，图像传感器没法自适应。

处理方法：通过统计图像的像素光强及场景分析，设定曝光时间和增益来实现。

④ AF（Auto Focus）– 自动对焦

产生原因：变焦镜头需要自动调节焦距。

处理方法：先判断图像的模糊程度，通过合适的模糊度评价函数求得采集的每一副图像的评价值，然后通过搜索算法得到评价值的峰值，最后通过电机驱动将采集设备调节到峰值所在的位置，得到最清晰的图像。

⑤ BLC（Black Level Correction）– 黑电平较正

产生原因：Sensor 有漏电流，导致把 Sensor 放入一个全黑的环境时，输出的原始数据不为 0。

处理方法：设定一个的矫正值，所有像素值都与此值做比较，最后得到一个矫正成功的结果。

注：资料来源于网络