论文题目 Generalized Lightness Adaptation with Channel Selective Normalization 1简介 亮度适应对于图像处理的成功至关重要，以避免出现意想不到的视觉劣化，这涵盖了多个方面，例如，弱光图像增强、图像修饰和逆色调映射。

现有方法通常在其训练的亮度条件下表现良好，但在未知的亮度条件下表现不佳，因为它们的泛化能力有限 为了解决这一局限性，提出了一种新颖的广义亮度适应算法，该算法通过通道过滤设计扩展了传统的归一化技术，称为通道选择归一化（CSNorm）。

所提出的CSNorm有目的地归一化与亮度相关的通道的统计信息，并保持其他通道不变，从而提高特征的泛化性和判别性 为了优化CSNorm，提出了一种交替训练策略，可以有效地识别与亮度相关的通道 配备CSNorm的模型只需要在一个亮度条件下进行训练，就可以很好地推广到未知的亮度条件。

在多个基准数据集上的实验结果表明，CSNorm在增强现有亮度适应方法的泛化能力方面的有效性 本文专注于设计一种机制，使现有的亮度适应方法具备泛化到宽范围亮度场景的能力 关键挑战在于获得上述泛化能力的同时，保持判别能力。

为了实现这个目标，引入了归一化技术，该技术具有从给定特征中提取不变表示的良好特性，特别是对于亮度分量 然而，归一化是一把双刃剑，因为它不可避免地会损失信息，这可能会降低重建精度 因此探索对对亮度变化高度敏感的特定通道进行归一化，同时保持其他通道不变（图 。

2 ）这种设计增强了泛化能力，并保持了特征的判别性 为此提出了一种通道选择归一化（CSNorm）的概念，旨在有目的地选择和归一化与亮度相关的通道 CSNorm由两个主要部分组成：一个用于消除亮度相关信息的实例级亮度归一化模块，以及一个用于自适应选择亮度相关通道的可微门控模块。

门控模块输出一系列二元指标，以组合归一化和原始通道，这可行地增强了模型的泛化能力，并减轻了由归一化引起的信息损失 所提出的CSNorm简单、轻量且即插即用 为了识别CSNorm中与亮度相关的通道，精心设计了一种交替训练策略。

网络通过两步不同的输入交替优化 具体而言，在第一步中，网络输入图像以学习亮度适应的基本能力 在第二步中，稍微扰动上述输入图像的亮度，并仅优化CSNorm，同时冻结其他参数 由于输入图像中唯一的变量是亮度条件，因此CSNorm可以自适应地识别与亮度相关的通道并相应地对其进行归一化，从而在泛化和判别方面表现出卓越的性能。

总之做出了以下贡献 • 这是第一个在宽范围光照场景中提高光照适应方法泛化能力的工作 • 提出了CSNorm，它根据通道对亮度变化的敏感度，选择性地对亮度相关的通道进行归一化配备了CSNorm的模型可以很好地推广到未知的亮度条件，同时保持在已知亮度条件下的重建能力。

• 备选的训练策略经过精心设计，能够有效优化 CSNorm，以识别与亮度相关的通道 • 进行了广泛的实验，以验证CSNorm相对于现有亮度适应方法的优势和通用性，从而提高它们在宽范围亮度场景中的泛化能力。

2背景 亮度适应是图像处理中的一个重要步骤，包括低光图像增强、图像修饰和逆色调映射等任务 这些任务已从先进的神经网络架构的发展中获益匪浅 尽管已经提出了许多强大的亮度适应方法，但亮度适应的泛化问题仍然存在，并且很少被探索。

在实际应用中，由于训练和测试数据之间的亮度差异，将亮度适应模型应用于未知的亮度条件非常具有挑战性 现有的亮度适应方法主要集中于解决精确图像重建的挑战 然而，由于它们过度拟合训练亮度分量，导致在具有其他亮度条件的宽范围场景中表现不佳，从而导致不令人满意的视觉效果（ 。

图 1 ）和在复杂现实场景中不足的泛化能力。

另一种方法是构建一个更大的混合光照数据集，包含更多的光照条件，但这对于许多复杂的情况是不切实际的，并且对于从不同领域繁琐地获取数据来说太耗时 此外，现有模型存在不足以封装泛化能力和判别能力的缺点，其中前者负责未知光照条件下的性能，后者主要对应于已知光照条件下的重建特性。

3. 动机 由于现实世界捕获中的亮度差异很大且变化显著，因此亮度适应方法的处理具有显著的可变性 因此，直接部署现有网络于真实场景中具有挑战性，尤其是在训练集中不存在的亮度条件下 一种替代方法是通过创建一个扩大的混合数据集来增加数据集的容量，包括额外的亮度条件用于训练。

然而，数据收集的过高成本使得追求这一方案具有挑战性 此外，混合数据集更容易在训练期间引起歧义，这可能会使网络偏向于特定的亮度，并导致不平衡的训练问题 归一化具有消除光照相关成分和减少图像之间差异的良好特性。

它可以有效地减少光照的影响，并能胜任地提取独立于光照的信息，从而使网络能够学习鲁棒的表示并提高泛化能力 基于这一点，旨在提出一种通用的归一化算法，以解决光照适应的泛化问题 尽管有这些优点，但由于不可避免的信息损失（例如，包括均值和方差在内的统计特征），归一化对于网络来说是一把双刃剑，导致较差的重建性能。

为了直观地理解归一化的影响，进行了一项自重建任务，以说明归一化引起的信息损失 如 图 3 所示，分别训练了两个自动编码器网络，一个插入了IN 操作，另一个没有插入，并计算了不同图像上的相对重建精度（即PSNR）。

显然，归一化破坏了网络的重建能力，事实上，就泛化而言，归一化造成的信息损失的危害超过了其潜在的好处。 这促使设计CSNorm来选择性地归一化通道，同时考虑泛化能力和重建精度以适应亮度。

4. 方法 4.1. 概述 基于以上分析，提出了一种简单而有效的方法，如 图 4 所示设计了CSNorm（图 4a ），以提高网络泛化能力，它可以作为现有光照自适应网络的即插即用模块 在CSNorm中，引入了一个可微门控模块（图

4b ），以有效地选择原始特征和归一化特征的通道维度，然后将它们组合起来传递到下一层。 这种门控模块实际上充当了一个通道选择函数。

此外提出了一种交替训练策略，以迫使门控模块选择与亮度相关的通道，这由亮度扰动下的性能稳定性驱动（图 4c ）在训练阶段，只访问一个具有有限亮度条件的数据集，并训练配备了CSNorm的模型 一旦训练完成，该模型可以直接在其他未知的亮度条件下工作。

4.2. 通道选择性归一化 如图 4a 所示，CSNorm由两部分组成：用于消除光照相关信息的实例级亮度归一化模块，以及用于自适应选择光照相关通道的可微门控模块 4.2.1 实例级亮度归一化 。

为了方便后续的通道选择，对通道进行归一化，并采用IN作为实现，以便精确地对单个实例和通道进行操作 给定一个形状为H × W × C的特征 x ，IN通过减去均值μ(x)并除以标准差σ(x)来归一化 。

x ，其表达式为

其中μ(x)和σ(x)是在每个通道和实例的空间维度上独立计算的，γ, β ∈ R C 是从数据中学习的可缩放参数 由于IN可以减少实例之间的亮度差异，归一化特征 x ′ 具有与亮度条件无关的鲁棒表示，使网络能够适应各种亮度场景并提高其泛化能力。

4.2.2 可微分门控模块 为了以最小的网络修改成本实现自适应通道选择，引入了一个用于通道选择的可微门控模块，该模块能够切实增强模型的泛化能力并减轻由归一化引起的信息损失 如图 4a 所示，可微门控模块输出一系列二元指标以组合归一化通道和原始通道，这可以表示为 。

其中 g 表示跨通道维度的二元指示器，而 ⊙ 是通道式乘法 门控操作通过二元指示器激活或停用通道，以选择性地规范化通道 因此，生成的特征 x n + 1 消除了光照的影响，从而获得用于泛化的不变表示，并保留了具有未更改通道的基本信息，以实现精确的重建。

门控操作应是可微的，并且能够将输出偏置为零或一，以用于通道选择。 受滤波器采样剪枝方法的启发，将门控模块构建为

其中 α x ∈ R C 是由特征 x 生成的中间向量，而 ϵ 是一个小的正数 为了获得 α x ，首先采用自适应池化将 x 的空间大小缩小到单个像素，然后使用几个具有ReLU激活的全连接层（图 。

4b ） 当 α x = 0 时，显然 G (0) = 0；当 α x ≠ ≠ 0 时，可以推断出 G ( α x ) ≈ 1 ，因为 ϵ 足够小 该函数将

α x 转换为接近于1或0的值，从而产生一个开关门，而无需额外的人工阈值设计 此外，利用其可微特性，设计了一种交替优化策略，以自适应地选择与亮度相关的通道 值得注意的是，门控模块很容易陷入一个简单的解决方案，即保持所有通道不变以保持重建精度，因为该函数的输出很容易为 1。

因此使 g 直接与等式 2 中的归一化通道 x ′ 相乘，从而推动网络倾向于使用归一化通道，以在模型的泛化能力和特征重建的判别力之间保持优雅的平衡 4.3. 交替训练策略 4.3.1 训练策略 。

提出了一种交替训练策略，如图 4c 所示，以定位CSNorm中与亮度相关的通道 策略的基本原理是，通过稍微扰动输入图像的亮度条件，CSNorm被迫定位并过滤掉与亮度相关的通道，以在原始图像和扰动图像上实现最佳性能。

具体来说，该策略交替地在原始数据集上优化网络，以学习亮度适应的基本能力，并使用稍微扰动的输入图像优化CSNorm，以识别与亮度相关的通道 这确保了CSNorm可以有效地归一化与亮度相关的通道，从而在泛化和区分方面表现出卓越的性能。

为了优化网络，根据参数是否属于CSNorm将其参数分为两组，并使用不同的损失函数来更新它们，如图 4c 所示。在第一步中，输入原始图像并通过最小化损失函数来更新CSNorm之外的参数。

其中 o ˆ 1 是网络的输出图像，而 o g t 是真实图像 通过这样做，网络的本质亮度适应能力得以保持，并且所有通道都保持在其自然状态 第二步，扰动输入图像的亮度，并固定CSNorm之外的参数。

仅通过最小化损失函数来更新CSNorm中的参数。

其中 o ˆ 2 是输出，而 A 代表频域中的幅度信息 这使得 CSNorm 能够自适应地选择与亮度相关的通道，以保持在扰动图像上的性能 特别地，由于亮度与频域中的幅度相在公式 5

中添加幅度损失 | A ( o ˆ 2 ) − A ( o g t ) | 2 ，以使网络更加关注亮度信息并有效地选择与亮度相关的通道 以上述两个目标交替优化这两个步骤，整体优化函数由下式给出： 。

其中 δ 是一个平衡因子 4.3.2 亮度扰动 为了在训练过程中自动识别与亮度相关的通道，需要扰动输入图像的亮度分量 这些扰动应该捕捉亮度适应的本质，同时避免干扰其他图像分量，例如结构信息 。

为了实现这一点，提出了一种基于频率的扰动方案，该方案线性插值两个图像的幅度，因为幅度信息包含更多的亮度信息，可以防止增强伪影（ 图 5 ）。

以弱光增强任务为例，将弱光和正常光图像定义为 o l 和 o n o r m ，它们的傅里叶表示为 O l 和 O n o r m 将 O l 和 O 。

n o r m 的幅度分量线性组合为

其中 A 表示幅度信息，λ ∈ [0, 1]是随机采样的 然后，通过逆傅里叶变换 F − 1 重构扰动后的图像oˆ，如 o ˆ = F − 1 ( A ( O ˆ 。

l ) , P ( O l ) ) ，其中 P 是相位信息 如图 5 所示，基于频率的扰动减轻了图像中其他因素（如结构和噪声）的影响，更侧重于亮度本身 扰动后的图像和原始图像用作不同训练步骤的输入，以优化CSNorm，使CSNorm能够有目的地选择与亮度相关的通道，从而增强网络的泛化能力。

5实验 1） Huawei 和LOL数据集上广义低光图像增强的视觉结果

2） 基于PSNR和SSIM的微光图像增强方法对合成亮度的定量结果

3） 在PSNR和SSIM方面跨数据集的弱光图像增强方法的定量结果

4） Kim等人和HDRTVNet数据集上广义逆色调映射的视觉结果

5） 逆色调映射方法在PSNR和SSIM方面对合成光度的定量结果

6） MIT-Adobe FiveK数据集上广义图像修饰的视觉比较。

7） 图像修饰方法对合成光度的PSNR和SSIM的定量结果