海思Hi3559V200图像传感器处理流程分析
一，概述
由海思推出的影像处理核心组件Hi3559V200，具备支撑行车记录设备、运动拍摄终端以及安防监控探头等多类应用开发的潜力。作为海思技术生态体系中的基础级平台，其架构特性与资源配置尤为契合初学者进行系统性学习与深入探究的需求。
在软件架构层面，系统被划分为四个层级：输入设备（DEV）、输入 PIPE（图示为物理 PIPE，虚拟 PIPE 仅包含 ISP_BE）、物理通道（PHY_CHN）以及扩展通道（EXT_CHN）。
1，MIPI 和 DEV 的绑定关系
在 Hi3519AV100、Hi3516DV300、Hi3516CV500、Hi3559V200、Hi3556V200 以及 Hi3516EV200 等芯片型号中，DEV 模块与 MIPI 接口之间的对应关联被设定为静态固定模式，系统并不支持在运行过程中对这种绑定状态进行动态调整或重新配置。
此外，DEV 单元与前端时序信号的输入端口之间存在着严格的约束逻辑。以 Hi3559AV100 为例，若其前端信号源需接入 BT.1120标准，并且硬件上选用了第 0组对应的 BT.112管脚组，那么为了确保数据能够被正确且稳定地接收处理，PIPE通道必须与 DEV5建立明确的绑定关系。
2，DEV 和 PIPE 的绑定关系
任意一个 PIPE 均具备与特定 Dev 建立关联的能力，然而这种绑定关系一旦确立便无法在运行过程中进行动态调整。
作为输入端的硬件实体，dev 可被视作外部传感器接入的载体，涵盖 mipi、bt1120、bt565 以及 DC 等多种类型。由于不同 dev 所兼容的接口规格存在差异，以 SD3403 芯片为例进行说明：其 mipi 接口能够承载四路信号，分别映射至 dev0 至 dev3；而 bt1120、bt656 及 DC 接口则仅支持单路连接，统一对应于 dev3。基于此逻辑，当传感器工作在 DC 模式时，其数据通道只能被分配并绑定至 DEV3。
pipe 承担着输入图像数据传输通道的职能，即由 dev接收到的原始数据将被导入 pipe进行处理。在架构设计上，dev与pipe之间既允许建立一对一的映射关系，也支持一对多的拓扑结构。特别是在启用宽动态范围（WDR）模式时系统要求单个 dev必须同时关联两个独立的 pipe（分别处理长曝光帧与短曝光帧），随后通过算法融合这两路数据以生成最终的宽动态图像。
在线性工作模式（即非 WDR状态）下标准的信号通路遵循“单一物理 PIPE绑定单一 Dev”的原则；而在 WDR模式下则需实现多对一的绑定机制，例如在2合1WDR场景中需要两个物理PIPE共同指向同一个Dev。此外值得注意的是在WDR运行期间仅首个绑定的物理PIPE对应的通道会产生有效数据输出其余已绑定的物理PIPE通道均无图像数据产生
涉及 WDR功能的相关模块旨在适配传感器的原生 WDR特性以及多帧合成 WDR技术因此往往需要执行额外的配置操作或具备特殊的参数设定逻辑。针对 Hi3519V101平台而言无论系统处于线性模式还是WDR模式其内部统计信息的处理方式始终保持线性特征
4 帧合成 WDR 的运作机理：由传感器端采集并输出的 L、M、S 三组图像数据，首先被传输至 DDR 存储单元进行暂存；当 VS 帧的数据就绪后，系统再从 DDR 中读取上述三组数据并将其分发至 Channel 2、3 及 Channel 4；与此同时，VS 帧的图像信息则绕过缓存环节，直接输送给 Channel 1。在此流程中，L、M、S与VS四个标识分别对应着长曝光时间帧、中等曝光时间帧、短曝光时间帧以及极短曝光时间帧
3，PIPE的详细说明
整个处理流程由前端模块（ISP_FE）与后端模块（ISP_BE）两大部分构成。其中，前端部分特指在图像信号处理器流水线中，位于特征金字塔网络（FPN）接入点之前所执行的所有处理环节；而后端部分则涵盖了从 FPN 开始直至流水线末端的全部后续操作。通常情况下，这两个核心组成部分具体涉及以下若干功能单元：
-
在 ISP_FE 架构内部，核心组件为 Crop 模块，其核心职责在于执行对原始输入影像的边界截取与尺寸调整操作
-
ISP_BE 构成了图像后处理流程的关键阶段，该部分整合了若干具备特定功能的处理单元
⑴ BLC 模块负责针对传感器特性执行黑电平偏移量的校准工作
⑵ DPC 单元具备识别并修复静态及动态坏点的能力，确保像素数据的完整性
⑶ GE 机制旨在平衡 Gr 与 Gb 两个绿色通道之间的增益差异，消除色彩失衡现象
⑷ WDR 技术通过多帧图像融合策略，拓展影像的动态范围表现力
⑸ Expander 组件承担将传感器内部经过压缩编码的数据流还原为原始格式的任务
⑹ Bayer NR算法在拜耳阵列域内运行，专门用于抑制图像中的噪声干扰
⑺ LSC（镜头阴影校正）功能用于补偿因光学透镜特性导致的光照不均匀问题
⑻ AE（自动曝光）系统负责采集并统计曝光控制所需的相关参数信息
⑼ AWB（自动白平衡）机制通过对 R、G、B三通道均值及有效采样点数量的统计分析来确立白平衡参数
⒍ DRC（动态范围压缩）技术旨在缩减图像的亮度分布区间以优化显示效果
⒍ CAC（色差校正）算法专门用于消除由镜头光学缺陷引发的轴向及横向色散误差
⒍ Demosaic插值过程将拜耳格式的原始数据映射重构为标准的 RGB彩色图像数据
⒍ CCM（色彩矩阵校正）利用标准的3x3矩阵运算结合矢量偏移量实现颜色空间的线性变换与校准
⒌ GAMMA处理环节针对rgb或bayer域信号进行调节，输出经Gamma或Pregamma曲线变换后的结果
⒌ DEHAZE模块提供分区去雾处理能力，显著改善雾霾环境下视频画面的对比度与清晰度指标
⒌ SHARPEN锐化算法通过增强边缘细节来提升整体图像的视觉清晰度
⒌ CDS组件执行从YUV444格式向YUV422或YUV420格式的色度下采样转换操作
⒌ LDCI基于局域直方图均衡化原理增强局部区域的对比度表现，特别是提升暗部区域的细节可见性
⒌ 3DNR三维降噪技术通过高斯噪声滤除机制降低后续编码所需的码率开销
Hi3559V200平台ISPBE模块功能架构与详细技术说明
