【论文阅读 | Information Fusion 2025 | DAFusion：面向退化场景的红外与可见光图像融合网络】

4.6.1 CA：通道对齐细化（Channel-level Alignment）#

CA 用各自模态的表示向量 emb_ir / emb_vis 生成通道门控权重，对对应的源特征做逐通道缩放：

1
# net.py  L152–157  Fusion_net.CA_attention
2
def CA_attention(self, ir, vis, emb_ir, emb_vis):
3
    # emb_ir: [B, 64, 1, 1] → reshape → [B, 64] → fc → sigmoid → [B, 64]
4
    ir_atten  = sigmoid(fc_ir(emb_ir.reshape(B, -1)))   # [B, 64]
5
    vis_atten = sigmoid(fc_vis(emb_vis.reshape(B, -1)))  # [B, 64]
6

7
    # reshape 成 [B, 64, 1, 1] 后广播到 [B, 64, H, W]
8
    ir_refined  = ir_atten.reshape(B, 64, 1, 1)  * ir   # [B, 64, H, W]
9
    vis_refined = vis_atten.reshape(B, 64, 1, 1) * vis  # [B, 64, H, W]
10
    return ir_refined, vis_refined

表示向量 emb_ir 由于受对比学习的拉拽，已显式编码了自身的退化状态。经由 FC + Sigmoid 非线性映射，输出通道门控权重。响应较强的通道得以保留，而受退化腐蚀较严重的通道将被衰减。此机制独立作用于各自模态，属于模态域内标定环节。

4.6.2 SA：空间自适应交互（Spatial Adaptive Interaction）#

SA 先把两路表示拼合并压缩成一个融合表示 emb_f，再以此为门控完成跨模态特征交互：

1
# net.py  L159–166  Fusion_net.SA_attention
2
def SA_attention(self, ir, vis, emb_ir, emb_vis):
3
    # 拼接两路表示 → Conv 压回 64 通道 → 融合表示
4
    emb_f = Conv_embf(cat([emb_ir, emb_vis], dim=1))  # [B,128,1,1]→[B,64,1,1]
5
    gate  = sigmoid(emb_f)                             # [B, 64, 1, 1]
6

7
    # 交叉门控：用一路的门控权重去缩放另一路的特征，再加上自身
8
    SA_ir  = vis * gate + ir   # [B, 64, H, W]  可见光被门控后加到红外上
9
    SA_vis = vis + ir * gate   # [B, 64, H, W]  红外被门控后加到可见光上
10

11
    # 拼接后卷积融合
12
    f = Conv_f(cat([SA_ir, SA_vis], dim=1))   # [B,128,H,W]→[B,64,H,W]
13

14
    # 融合表示 = 融合特征的全局池化 + 门控表示的残差
15
    emb_ff = AvgPool(f) + emb_f               # [B, 64, 1, 1]
16
    return f, emb_ff

门控信号 gate 由两分支模态的全局表示向量投影而得，综合了全局的联合退化分布状态。gate 值较高的通道表明该层级上特征均具备较优的可信度。通过交叉门控乘法运算，实现双向的跨模态可信信息自适应注入。最终输出的特征 f 已完成基于退化感知约束的跨模态融合分配。

整个 CrFM 的数据流可以概括成：

1
emb_ir, emb_vis                       # 各自模态的退化感知向量
2
    │                                   │
3
    ▼           CA 模态内重标定          ▼
4
[ir_refined]                     [vis_refined]
5
         \                        /
6
          ──────── SA 跨模态交互 ────────
7
                  │           │
8
                [f]        [emb_ff]     # 融合特征 + 融合表示

4.7.1 单模态退化感知损失 $\mathcal{L}_{deg}$#

对红外和可见光各自计算，合计如下（以红外为例）：

结构保持损失（要求退化输入与其重建结果结构一致）：

其中 $Wav(\cdot)$ 为 Haar 小波变换的高频子带，约束重建结果在结构和高频细节上与原图保持一致。

特征一致性损失（要求退化输入的表示与重建结果的表示对齐）：

对比学习损失（拉近正样本，推远负样本）：

代码中用 SimMaxLoss（拉近当前表示与高质量正样本 emb_ir_c）和 SimMinLoss（推远当前表示与 EMA 负样本 emb_ema_ir）实现：

1
# train.py  L124–134  def loss_res
2
# 参数说明：emb_ema → 实际传入 HQ 正样本（emb_ir_c）
3
#           emb_ema_F → 实际传入 EMA 历史负样本（emb_ema_ir_c）
4
def loss_res(F, imgA, emb, emb_ema, emb_ir_ir, emb_ema_F):
5
    loss1 = wav_loss(imgA, F) + SSIMLoss(imgA, F)         # 结构保持
6
    loss2 = (torch.norm(emb - emb_ir_ir)                  # 特征一致性：当前表示 vs 重建后表示
7
           + SimMaxLoss(emb, emb_ema)                     # 拉近正样本（emb_ema=emb_ir_c，HQ）
8
           + SimMinLoss(emb, emb_ema_F))                  # 推远负样本（emb_ema_F=emb_ema_ir_c，EMA）
9
    return loss1/nom_bchw + loss2/nom_emb
10

11
# 实际调用（train.py L162）：
12
# loss_res(IR, imgA, emb_ir, emb_ir_c, emb_ir_ir, emb_ema_ir_c)
13
#                    ↑当前表示  ↑HQ正样本   ↑重建后表示  ↑EMA负样本

单模态总退化感知损失：

4.7.2 双掩码构造#

图像级显著性掩码 $W_s$（sqt 函数）

比较两路重建结果 IR 和 VIS 在各像素位置的局部响应强度，强就拿 1，弱就拿 0：

1
# net_utilis.py  L262–279  def sqt
2
def sqt(F_ir, F_vis):
3
    F_1 = torch.sqrt((F_ir  - F_ir.mean())  ** 2)   # 各像素对均值的偏离量
4
    F_2 = torch.sqrt((F_vis - F_vis.mean()) ** 2)
5
    g_ir = F_1.sum(dim=1, keepdim=True) / 64         # 通道平均 → [B,1,H,W]
6
    g_vi = F_2.sum(dim=1, keepdim=True) / 64
7
    w1 = (g_ir > g_vi).int()   # 红外响应更强的位置置 1 -> 权重给红外
8
    w2 = (~(g_ir > g_vi)).int()
9
    return w1, w2

特征级能量变化掩码 $W_e$（en_w / en_ac 函数）

比较编码器深层特征（F_ir 的后 3/4 通道）与解码器中间层特征（D_IR 的三个中间层拼合）的通道平均响应差值：

1
# net_utilis.py  L306–320  def en_ac / en_w
2
def en_ac(x, y):
3
    # x: 编码源特征 [B,64,H,W]，取后48通道（分4组取后3组）
4
    F_1 = cat([split(x,4)[1], split(x,4)[2], split(x,4)[3]], dim=1)  # [B,48,H,W]
5
    # y: 解码中间层列表 [x1,x2,x3]，各自拼合
6
    D_fea = cat([y[0], y[1], y[2]], dim=1)   # [B, 32+16+16, H, W]
7
    g_ir = D_fea.sum(dim=1, keepdim=True) / c_d   # 解码层平均响应 [B,1,H,W]
8
    g_vi = F_1.sum(dim=1,  keepdim=True) / 48     # 编码层平均响应 [B,1,H,W]
9
    w1 = norm_1(g_ir - g_vi)    # 差值越大，说明这里在重建过程中被调整越多
10
    return w1

论文公式定义为（$sP$ 表示 sum-pooling，取编码器第 3-4 层减去解码器第 1-2 层）：

联合权重

将两个掩码直接相加后归一化：

1
# train.py  L171–174  双掩码联合权重计算
2
wen_1, wen_2 = en_w([F_ir, F_vis], [D_IR, D_VIS])   # 特征级掩码
3
w1,    w2    = sqt(IR, VIS)                           # 图像级掩码
4
w1 = norm_1(w1 + wen_1)   # 归一化到 [0,1]
5
w2 = norm_1(w2 + wen_2)

4.7.3 融合保真损失 $\mathcal{L}_f$#

论文中的公式形式（$\delta$ 表示归一化，$\odot$ 表示逐元素乘）：

代码实现中还额外加了全局结构约束（SSIM + 小波）：

1
# train.py  L178–179  融合保真损失 loss5
2
loss5 = 0.7 * (wav_loss(IR, F) + SSIMLoss(IR, F) + wav_loss(VIS, F) + SSIMLoss(VIS, F)) / (b*c*h*w) \
3
      + (torch.norm(w1 * F - w1 * IR, p=2) + torch.norm(w2 * F - w2 * VIS, p=2)) / (b*c*h*w)

掩码 w1 权重高的位置（红外响应更强），融合结果应更接近重建红外 IR；w2 权重高的位置（可见光响应更强），融合结果应更接近重建可见光 VIS。

4.7.4 融合分支退化感知损失 $\mathcal{L}_{deg}^F$#

融合表示 emb_F 也需要向高质量分布靠拢，对其施加和单模态同样形式的约束：

1
# train.py  L176–177  融合分支退化感知损失 loss3 / loss4
2
loss3 = loss_res_F(F, IR,  emb_F, emb_ir_c,  emb_ema_ir_F,  emb_F_1)
3
loss4 = loss_res_F(F, VIS, emb_F, emb_vis_c, emb_ema_vis_F, emb_F_1)

其中 emb_F_1 来自 EMA 融合模块，作为融合表示的慢速历史负样本参照。

4.7.5 总损失#

代码中五项损失的对应关系（train.py L181: loss = loss1 + loss2 + loss3 + loss4 + loss5）：

只有主编码器 model_E_res 和融合模块 model_FNet 的参数参与反向传播（optimizer_E 和 optimizer_F），解码器在第二阶段权重冻结。

5.1.1 数据集与训练策略#

论文使用了 FLIR、TNO、M3FD、MSRS、LLVIP 等经典数据集。其中：

• FLIR 用于训练与验证；
• TNO、M3FD、MSRS、LLVIP 用于测试；
• 高质量参考图像来自 SICE 提供的高质量 ground truth 图像。

这一点很关键。作者并没有从融合数据集本身找理想答案，而是借用了独立高质量图像集作为表示学习参照。这正好符合其无配对高质量图像训练设定。

训练上，作者采用两阶段训练：

• 编码器与解码器先预训练 20 个 epoch；
• 正式训练时再引入 CrFM 与退化感知损失；
• 使用 Adam 优化器，batch size 为 8，初始学习率 0.001。

此外，论文还把可见光图转到 YCbCr 空间，只融合亮度通道，最后再把原图色度恢复回融合图。这个设置与仓库 test.py 里的 RGB2Y 和 restore_color 是对得上的。

5.1.2 评测指标#

论文使用的常规融合指标包括：

• EN
• AG
• SF
• SCD
• MI
• VIF

这些指标中：

• EN、AG、SF 更偏统计信息量和纹理强度；
• SCD、MI、VIF 更偏源图信息保留与视觉保真。

同时，作者还额外做了：

• 退化场景模拟评估
• VIFB 测试
• 目标检测
• 语义分割

此类多维验证范式的介入表明，模型的评估边界已从静态融合保真突破至对下游高层感知任务的支撑效能上。

5.2.1 常规融合基准#

DAFusion 的常规测试性能展现出显著的区间稳定性，而非针对特定局域指标的拟合冒尖。 在验证集上取得 MI = 3.4830、VIF = 0.8113、综合排名 RoR = 1。在此区间 MI 与 VIF 的同列高位，表明模型维持了接近原图互信息的有效表达，未引入过度强化的伪影纹理。

在 Table 7 的四个常规测试集上，DAFusion 在 M3FD 和 LLVIP 综合排名第一，MSRS 排第二，TNO 保持第一梯队，跨数据集波动小。尽管部分现有方法通过锐化局部梯度以推高 AG、SF 等统计参数，但这通常引发噪声失控及边缘极化，最终弱化高层特征语义。相比而言，DAFusion 将优势轴面收束于 MI、VIF 与 SCD 等侧重信息结构严谨性的综合性指标上，与退化免疫的初衷深度契合。

5.2.2 模型复杂度#

论文 Table 6 给出，DAFusion 的参数量仅 0.2778M，FLOPs 为 8.24G。其利用极低参数量同步实现了退化感知、特征融合与解码生成，避免了级联恢复与融合网络的臃肿堆积。在面对真实退化场景部署时，这种运行开销是极为关键的实用级要求。

5.4.1 退化场景的实验设计#

退化合成实验构筑了校验其抗干扰命题闭环的最核心壁垒——考虑到两路源图可能同时伴随退化分布介入的情况，标准测试集的纯净先验并不适用，通过显式模拟复杂退化边界是必须的检测路径。

验证集所加载的 Smoke、Rain、Dark、Low-contrast、Noise 退化谱段，将对照组扩展为多模态网络配合专用图像恢复网络的（Restoration + Fusion）串联矩阵，DAFusion 常规登顶 RoR = 1，其抗退化假设的边界鲁棒性得到深度验证。

5.4.2 与 restoration + fusion 范式的比较#

级联（Restoration + Fusion）范式的理论短板源自预处理层的单任务域过拟合偏重（例如：低光增强聚焦增益映射，去雨网络锚定条纹遮罩）。当面临复合叠加型或域位偏移型未知退化时，这类刚性先验极易引发性能坍塌。相比之下，DAFusion 的对比学习机制未引入显式的物理退化分类，而是利用高质量参考图构筑正交特征基。模型在迭代中剥离退化模式，其核心优化目标为泛化退化偏差的度量，而非拟合特定退化类型的局部纹理。

这一内生机制规避了网络对确定性退化类型的强依赖，大幅强化了模型在不确定扰动背景下的基准稳定性。

5.4.3 定量分析#

Table 8 的核心价值凸显于多类退化基准上的全局矩阵抗性。取得综合 RoR = 1 且在有参考（MI、VIF 等）与无参考（PIQE、NIQE 等）质量评估层取得双向高位，证实系统攻克了去退化与空间分布频段保持上的拮抗约束。

在 Smoke 环境中，DAFusion 的 MI (2.1979) 联袂 NIQE (2.6835) 证实其在压制浓烟干扰的同时最大程度接纳了源序列熵信息。对于 Rain 测试域同样斩获 MI (2.8551) 等多项优异，彰显全局对比感知结构对高频雨滴遮罩及空间细节重构有着深度解耦算力；而在 Low-contrast 图像对中 (PIQE = 33.587, NIQE = 2.5420)，更体现其基于底层对比度坍缩畸变的极强抗干扰解析度。面对 Noise 分布，模型继续稳定在高维区间，印证算法并不单纯规避照度相关退化。唯在 Dark 场景下，受限于现有研究阶段暂未介入色度域纠偏回归回路，极暗退化环境下仍会造成后期 RGB 指数映射色彩偏离，未能达成极限统御。

其根本规律为：DAFusion 凭借内部抗扰机制横穿五大退化测试频谱，均呈现稳定的前排位次，并非单一局域特定适配的偶然超越。

5.4.4 对比学习机制的验证#

退化测试序列与 $\mathcal{L}_{ctr}$ 组件消融完成了前后闭环的交叉验证。剥离对比学习模块将导致架构在诸如低照度及强雨迹掩盖下诱发剧烈频谱震荡及纹理损失；辅以 t-SNE 高维空间投影显像，介入对比项后的融合表征向量确实在欧氏距离度量上紧贴高质量图谱中心。这从理论诠释层面为网络退化鲁棒性背书——无配对参考图导向的表征流型学习成为剥离底层退化特征的基石。

5.5.1 目标检测#

论文使用 YOLOv5 在 M3FD 和 LLVIP 两个数据集上做评测。DAFusion 在两个数据集上均取得综合排名 RoR = 1，退化感知的收益从融合图像层迁移到了下游检测层。

更具体地说，DAFusion 在两套数据上都拿到了 Precision 第一。在 M3FD 上，它取得 P = 0.886、mAP@0.5 = 0.821，其中 mAP@0.5 为全表最高，Precision 同样最高；但 mAP@[0.5:0.95] = 0.512 并不是第一。
在 LLVIP 上，它拿到 P = 0.986、mAP@0.5 = 0.986、mAP@[0.5:0.95] = 0.686，这三项都是最优。尤其是 mAP@[0.5:0.95] 这一项最难刷，它说明模型不是只在宽松阈值下把目标差不多框住，而是在更严格的 IoU 范围内仍然维持了很强的检测质量。

需要指出的是，在 M3FD 和 LLVIP 两个数据集上，最高 Recall 并不属于 DAFusion。这反映了其方法边界：双掩码机制在强调显著信息聚合的同时，可能使重叠显著区域的分离变得困难，带来一定的漏检风险，但这并未改变其整体检测性能（综合排名 RoR=1）的优势位置。

5.5.2 语义分割#

在 MSRS 上，DAFusion 的 mIoU = 0.727，这不是独占第一，而是并列最优。与此同时，它的 Recall = 0.809，是全表最高。mIoU 并列最优说明整体区域划分质量站到第一梯队，Recall 最高说明对可分割目标和场景区域的召回最充分。从 Table 14 看，各细分类别排名有起伏，优势并非来自某几个类别的偶然吃分，而是整体结构表达的一致性。

定性可视化（如车辆周边的 Person，白天场景的 Guardrail）表明，原本容易被退化掩盖或在融合中粘连的细节，在 DAFusion 的输出中能被更完整地保留下来，支撑了其整体结构表达更佳的推断。

5.5.3 VIFB 外部基准#

观测 Table 12 的输出指标集合，DAFusion 在 VIFB 拓展基准集中的有效性基线已建立，主要受益于 $Q_{CV}$ 等代表视觉相干能力的评估项指标优势，客观上更为吻合人类视觉神经响应。与此同时，在其参数在 EN 等统计熵谱面维系强势的同时，唯独偏局部强度梯度的（如 AG、CE、SF）标量级序列未显统治地位。依据原作者论证：由于对比池体中大量级联融合流派依赖激化刻意边缘高频振幅等手段换取统计梯度，此类单项维度参标在极端失真下反而背离了网络重构的忠实初衷。

VIFB 作为独立于模型调配参数的盲评池介入并完成补充验证：确立了此前置推论并未陷入训练拟合的封闭锁铐中，这种跨域一致性能够安全平移。