赵工的个人空间

彩色图像处理

1. 彩色平衡：
• 灰场白平衡：
• 最大颜色值平衡：
2. 彩色补偿：
3. 多相机间的颜色一致性校正：
• 颜色直方图匹配方法：
• 多项式回归建模方法：
• 基于统计特性的颜色校正方法：
4. 彩色图像的颜色不变量特征：
• 基于Kubelka-Munk原理的颜色不变量特征：
• 基于Diagonal-Offset模型的颜色矩不变量特征：
• 灰度开运算：
• 灰度闭运算：
• 灰度形态学梯度：
• 顶帽变换：
5. 本征图像分解：
• 本征图像分解原理：
• 基于单幅图像的本征图像分解：

现实中人的肉眼所看到的景物大多为彩色的，这是因为人眼将不同频率的电磁波感知为不同的颜色。具体来说，光源发出的光通过反射或投射传递到眼睛，而视网膜中的感光细胞接收并产生对应的神经信号，这种信号经过人脑的解释就产生了色觉。人眼能感知的光谱波长在400~700nm之间，而所能感受到的物体颜色，主要取决于反射光的特性，如果物体能够比较均衡地反射各种光谱就会表现为白色，如果物体对某些光谱反射比较多则看起来就呈现出相应的颜色。
彩色图像处理涉及范围比较广，有彩色图像的增强、彩色图像噪声去除、彩色图像锐化等等，这些在灰度图像中也可以进行处理，称为彩色图像的常规处理，可以在R、G、B三个通道上同时处理，不过为了使处理后的图像不发生颜色畸变而出现色偏，在三通道的处理必须是相同的。彩色图像的处理还有有一些比较特殊的要求。

1. 彩色平衡：

彩色平衡是指对相机因RGB三个颜色通道的色彩发生偏移时的校正处理。为了验证彩色平衡的有效性，一般采用已知颜色的标准色卡进行校验与处理。

1）灰场白平衡：

灰场白平衡算法的理论基础是，对于一幅彩色图像，如果其颜色足够丰富，可以认为整幅图像的红、绿、蓝分量三通道的均值合成一种普通的灰色，即三通道均值趋于相等，这样就可以对图像运用灰场假设来去掉光源带来的色偏。
对24色标准色卡，其中6个颜色块是从黑色到白色的中性色色块，也就是说，这些块的红、绿、蓝分量三通道的值应该相等，满足灰场白平衡法模型假设。因此选择这6个中性色块来进行白平衡处理。
在白色环境下，用相机拍摄色卡，记所拍摄的标准色卡图像中的6个灰色色块的像素颜色均值为R_k、G_k、B_k，其对应的理论值为R*_k、G*_k、B*_k。对采集到的6个色块的均值，以及6个色块的理论值分别计算其3个颜色通道的均值。以绿色通道为标准，求出红、蓝两个通道增益K_R、K_B为：K_R=G_mean/R_mean，K_B=G_mean/B_mean
求出两个颜色通道的偏移ΔR、ΔB为：Δx=x-x_mean (x=R,B)
则白平衡校正计算公式为：

如果进行白平衡处理时，现场没有标准色卡，则可以选择画面颜色较为丰富的画面进行拍摄，求整个画面全体像素的均值代入公式进行求解，也可以使用以下步骤处理：
  ⑴  对图像按照下式计算亮度分量：Y=0.299R+0.587G+0.114B
  ⑵  因为现实场景中的白色点Y≠255，需要求出图像中的最大亮度Y_max和平均亮度Y_u
  ⑶  考虑到环境光照的适应性，寻找图像中所有亮度≤0.95Ymax的像素点，将这些点假设为场景中的白色点
  ⑷  计算白色点集中的所有像素的R、G、B三个颜色分量的均值R_u、G_u、B_u
  ⑸  按下式计算颜色均衡调整参数：

  ⑹  对整幅图像的R、G、B三个颜色分量进行彩色平衡调整：

灰场白平衡算法对于画面中色彩单调，且单调色彩为非中性色时，会造成误平衡，达不到好的效果，只适用于画面色彩比较丰富或画面中大部分区域为中性色的情况。

2）最大颜色值平衡：

最大颜色值平衡法是针对画面的色彩不能满足丰富的灰场假设情况下提出的，原理是，如果存在偏色，则R、G、B三个颜色通道中存在某个颜色信息比较强的通道，通过对该颜色通道的抑制，或者对另外两个颜色信息较弱的颜色信息的增强，就可以达到色彩平衡的目的。
具体步骤为：
  ⑴  对所拍摄到的具有偏色的图像，计算其R、G、B三个颜色通道的最大值R_max、G_max、B_max，这样就获得了每个颜色通道的最大强度值
  ⑵  求出上面3个最大值中最小的一个值C_max
  ⑶  分别统计R、G、B三个颜色通道的像素值不小于C_max的像素的个数，设其分别为N_R、N_G、N_B
  ⑷  求出上面三个值中最大的值N_max，所对应的颜色通道为Color_max，则这个颜色通道对应于3个颜色分量中颜色信息是最强的
  ⑸  将除了Color_max以外的颜色通道的像素值，从大到小统计其像素个数，以达到N_max的像素值为止。这样，就获得了在3个颜色通道中，像素个数基本相同的3个颜色通道的像素值，分别记为R_th、G_th、B_th
  ⑹  按下式计算色彩平衡的调整参数：

  ⑺  对整幅图像的R、G、B三个颜色分量进行彩色平衡调整：

2. 彩色补偿：

利用人眼视觉对不同颜色的识别能力比对不同亮度的识别能力强的特性，在某些应用中，目标的分离主要或完全是依据各种类型的物体颜色的不同。但由于常用彩色图像数字化设备具有较宽而且相互覆盖的光谱敏感区域，以及现有的染色材料的可变发射光谱，很难在3个分量图像中将物体完全分离开，一般来说只是其中两个对比度弱一些，这种现象称为颜色扩散。
由于颜色扩散的影响，导致原本可以通过颜色特征进行提取的目标物的特征弱化，这时就需要对颜色扩散进行校正，称为彩色补偿。
一种基于三通道最强颜色值的彩色补偿方法，具体步骤：
  ⑴  读入拍摄到的具有颜色扩散的图像，设其3个颜色分量分别为R、G、B
  ⑵  分别求某个颜色通道与其他两个颜色通道的强度差为：

  ⑶  分别求出强度差的最大值e_Rmax、e_Gmax、e_Bmax
  ⑷  在e_R、e_G、e_B三个强度差分量中，分别找出值等于e_Rmax、e_Gmax、e_Bmax的所有像素，并分别求出其像素均值向量：

  ⑸  设对于上面计算得到的3组点(r₁,g₁,b₁)，(r₂,g₂,b₂)，(r₃,g₃,b₃)在没有颜色扩散情况下，应该是纯红、纯绿、纯蓝，即应该为(r*₁,0,0)，(0,g*₂,0)，(0,0,b*₃)，所以有：

彩色补偿公式为：

其中，y为数字化记录设备下的实际RGB图像的灰度级向量，x为特定像素处的实际像素点的颜色在没有扩散时的灰度向量，为3×1向量。

3. 多相机间的颜色一致性校正：

在多相机联合监控模式下，对同一个目标出现在不同相机的监控现场中进行识别，大多需要依赖于对目标区域的色彩特征的匹配。然而，因为不同相机所处环境的光照不同，相机的物理特性不同等，会导致相同目标的颜色在不同相机间存在色差，为此需要进行多相机间的颜色一致性校正处理。

1）颜色直方图匹配方法：

假定给定图像得到离散变换函数s=T(r)。算法步骤：
  ⑴  求输入图像的直方图
  ⑵  利用下面公式对每一灰阶r_k计算映射灰度级s_k：

其中，n为图像像素总和，n_ri为灰度级为r_i的像素数量，L为离散灰度级的数量。
  ⑶  从给定的直方图p_z(z_k)得到一个假设的变换函数G(z)

  ⑷  利用下面的迭代方案，对每一个s_k值计算z_k值：

  ⑸  对原始图像的每个像素，若像素值为r_k，将该值映射到其对应的灰阶s_k，然后映射灰阶s_k到最终的z_k。

2）多项式回归建模方法：

根据色彩空间的转换原理，将多项式回归模型作为不同色彩分布的图像间颜色转换的工具，对不同相机所拍摄的图像进行非线性颜色转换，实现相机间颜色校正。这种方法在彩色打印机色彩转换研究中已经比较成熟。
对图像进行校正时，对于多项式的输入为颜色RGB三值，输出为校正后的颜色值。选用三变量构造多项式，设(x,y,z)为待校正图像某点的颜色值，(R_t,G_t,B_t)为校正后的颜色值，其变换可以表示为：

其中，f_R()、f_G()、f_B()为由三个变量组成的多项式变换函数。
常用的多项式模型为7项和21项，形式表示为：


可以看出，多项式模型的精度受多项式项数选择的影响。项数选择过少会降低模型复杂度，有可能使模型精度不够，无法实现对颜色的准确校正；项数选择过多，在提高模型精度的同时会增加模型的复杂度。采样点的位置及数量的多少，对模型的精度也有很大影响。多项式模型需要利用不同的样本进行训练，源图像的采样点与参考图像颜色信息的相关性越大，转换模型的精确度越高，反之则越小。
对7项多项式，假设有n个样本点，对R通道可以构造矩阵：

多项式的系数矩阵为A_R=[a1,a2,a3,a4,a5,a6,a7]，其中的下标为样本点序号。模型的系数矩阵A_R可计算为：

同理，可以获得图像G、B通道的模型。
如果样本点不能完全体现参考图像的颜色分布特点，会使得利用样本点获得的多项式模型的精度较差，进而校正结果较差。如果采用21项多项式构建模型，计算系数矩阵时，通常会遇到公式中的矩阵V·V^T出现条件系数过大，甚至奇异的情况，导致无法准确估计其逆矩阵，从而无法得到系数矩阵的精确解。

3）基于统计特性的颜色校正方法：

图像中颜色的总体均值和标准差等统计信息，表现了图像颜色的总体表现或者是像素间的颜色差异性。不考虑像素间的空间位置关系，可假设一幅图像的像素点表示为x1,x2,...,xn，当图像的颜色空间为RGB，3个通道的像素值可表示为R1,R2,...,Rn，G1,G2,...,Gn，B1,B2,...,Bn。各颜色通道的均值和标准差表示为m_k和σ_k，则3各通道的统计信息定义为：

定义某个图像，或者是视频监控系统中的某个相机现场帧图像为参考图像，定义其他待校正为与参考图像统计特性一致的图像为源图像。基于统计特性的颜色校正方法，是通过将参考图像的统计信息传递给源图像的方式，达到对源图像的色彩校正，使之与参考图像的颜色趋于一致。具体步骤：
  ·  分别计算源图像Sou与参考图像Tar各颜色通道的均值和标准差
  ·  遍历源图像，对图像的每个像素根据下式进行变换：

源图像经过上述步骤处理后，与参考图像有相同的均值及标准差的统计特性。在不同相机的的场景内容具有相似性情况下，可以获得良好的颜色一致性处理效果。
基于统计分析的颜色校正方法，需要统计图像中各个通道的颜色均值和方差，计算量较大，无法实现对视频的实时性处理，只需要根据背景特性所学的确定的变换函数进行变换即可。

4. 彩色图像的颜色不变量特征：

光照条件是影响目标颜色的重要因素，同一目标在不同光照情况下，即使采用同一相机，其所呈现的颜色也会存在一定差异。在光照未知的情况下，依据所成图像提取与光照条件无关的颜色本质特征，即颜色不变量特征，从而克服光照条件对目标颜色带来的影响。

1）基于Kubelka-Munk原理的颜色不变量特征：

⑴ Kubelka-Munk理论：
根据Kubelka-Munk理论，设物体表面一点的光谱能量函数为E(λ,x)，则光谱反射模型可以表示为：

其中，e(λ,x)为光谱；ρ_i(x)为x处的镜面反射；R_∞(λ,x)为物体材料的反射率；λ为波长。
通常情况下，对于物体表面粗糙且无镜面反射的情况，可设ρ_i(x)=0，同时若不考虑光源颜色，只考虑光照强度，公式可简化为：

其中，i(x)光谱成分表示光源强度。
对上式求导，得到：

上面两式相除，得到：

可以看出，上式与光照强度无关，可以推导出一组与光照强度、光源方向无关，而仅与图像的反射特性有关的颜色不变量特征因子：

从上式可以看出，所提取的特征向量都是通过对图像像素位置的空间求导而得到的，与光照环境无关的颜色不变量特征有C_λ、C_λx、C_λy、C_λλx、C_λλy。
对于一阶的颜色不变量描述特征为C_λ、C_λx、C_λy，其具体计算公式：

⑵ 基于Gaussian光谱模型：
Gaussian光谱模型的三值符合CIE1931XYZ系统，二者之间的关系可近似表示为：

将色系XYZ转换到色系RGB的关系式代入上式，对于像素中的每一个像素点，得到其能量分布及对波长的导数项，具体表达式：

通过上式就可以计算得到颜色不变量特征。

2）基于Diagonal-Offset模型的颜色矩不变量特征：

⑴ Diagonal-Offset模型：
Lambert反射模型被称为理想漫反射模型，是对光滑表面的一种理想化近似。Lambert反射模型假设在物体表面的所有方向上，其反射光线强度都是相同的，不因为入射方向和观测方向而发生变化。在RGB颜色空间，场景中某物体表面一点的颜色值用f(x)=[R,G,B]^T表示，其可通过整个可见光范围内对光谱分布、物体表面反射率及相机感光系数乘积的积分得到：

其中，x为空间坐标，λ为光的波长，ω为可见光范围，e(λ)为光谱，S(x,λ)为x点处的反射率，c(λ)为相机的感光系数。
根据理想Lambert反射模型，有人提出一种对角模型，用以转换不同光照环境情况下的同一物体的颜色信息，表达式：

由于Lambert反射模型是一种非常理想化的成像模型，通常很难满足现实情况。因此有人在其中加入散射光模型，更具有通用性：

其中，φ(λ)为散射光。
经过改进后的模型更能符合现实图像的成像原理，但改进后不再满足对角模型，因此提出一种Diagonal-Offset模型，在原来对角模型基础上加入了代表散射光影响的偏移量：

其中，[R1,G1,B1]^T和[R2,G2,B2]^T分别表为同一物体表面在不同光照条件下的颜色信息，对角矩阵中的系数α、β、γ分别是两种不同光照条件下的散射部分引起的偏移量。
⑵ 矩不变量特征：
由上面公式看出，只有消除尺度缩放变换和平移变换这两种变换，才能得到与光照无关的颜色不变量特征。有人提到采用中心颜色坐标系，定义平均颜色能够消除散射光照对目标物颜色特征的影响，利用颜色通道之间的比值可以消除光照强度对颜色特征的影响。
中心颜色坐标系中各个分量的定义为：

其中，R_avg、G_avg、B_avg为图像中RGB三个通道的平均值。
中心颜色坐标系中各个分量的定义为：

按照上式计算得到的在不同光照条件下的[r1,g1]^T和[r2,g2]^T的关系消除了Diagonal-Offset模型中的偏移量，计算公式：

其中，α*=α/γ，β*=β/γ。
根据不变矩公式，可得出图像的u+v阶矩：

其中，ρ(r,g)为密度函数，即图像中的值为(r,g)的像素点所占的比例。
根据上面的公式，可以推导出在不同光照环境下的[r1,g1]^T的矩Muv_1和[r2,g2]^T的矩Muv_2，有以下关系表达式：

归一化后的矩不变量为：

将前面公式代入上式，可以得到η_{uv_1}=η_{uv_2}，也即具有不变量特征。
选择矩特征的阶数u、v时需要注意，使用更多阶数较低的矩不变量，可以尽可能地对图像进行全面描述，u+v的值越小越好，同时考虑到η₂₀=η₀₂=1，一般建议取10个矩不变量作为基于颜色矩不变量的描述：

5. 本征图像分解：

本征图像是指一幅图像分解成的反射图和照射图。在图像分割中，直接对输入图像进行分割可能难以达到好的效果，并且很多分割算法为了避免照射变化的影响，采用了绝对阈值进行分割。在进行过本征图像提取后的反射图中，因为去除了照射变化所带来的阴影干扰，即使最原始简单的分割算法也可以正确地将图像中物体分割出来。

1）本征图像分解原理：

拍摄得到的原图与其反射分量、照射分量的关系可以描述为：I(x,y)=R(x,y)S(x,y)
其中，I(x,y)为原始图像，R(x,y)为反射分量，S(x,y)为照射分量。
对上式两边取对数，可将一幅图像表示为反射分量和照射分量之和：

将对数域图像I_L(x,y)与水平梯度算子fx和垂直梯度算子fy进行卷积，得到水平方向和垂直方向的梯度图像。对于彩色图像则分别得到RGB三通道的水平方向和垂直方向梯度。如果将这两个梯度分解为反射梯度和照射梯度两部分，对其分别进行逆滤波，就可得到本征图像R(x,y)和S(x,y)。

2）基于单幅图像的本征图像分解：

根据Shafer双色反射模型，场景的光谱反射模型可表示为：

其中，k={R,G,B}，f_k(λ)为成像设备的感光函数，e(λ)为光源的光谱分布，c_b(λ)和c_s(λ)分别为漫反射和镜面反射，m_b和m_s分别为漫反射和镜面发射的几何参数，n为表面属性，s为光源方向，v为视角方向。
假设在中性界面反射NIR模型和白光条件下：e(λ)=e，c_s(λ)=c_s

则有：

定义归一化颜色为：

定义二维对立颜色：

对于物体为粗糙表面的情况，仅考虑漫反射，归一化颜色具有光学不变性：

由上式可见，c1和c2仅依赖于成像设备的感光函数和物体反射特性，即表征了本征图像中的反射分量部分。
当然，假设目标由粗糙表面组成不符合实际，因此c1和c2还受到高光的影响。对于具有高光反射的表面，o1和o2具有不变性。相关特性表：

颜色空间	形状	阴影	高光	材质
RGB	+	+	+	+
c1、c2	-	-	+	+
o1、o2	+	+	-	+

其中，-表示对所描述特性具有不变性，+表示对所描述特性敏感。
因此，在c1、c2、o1、o2颜色空间提取梯度，可得到仅反映物质特性的信息部分。