RAM-DSIR：眼底和前列腺图像泛化能力增强，免除不同的扫描仪、成像协议和操作者等多种因素差异，影响学习效果

RAM-DSIR：眼底和前列腺图像泛化能力增强，免除不同的扫描仪、成像协议和操作者等多种因素差异，影响学习效果

提出背景
总体架构
两种领域适应策略
数学构造

效果

提出背景

论文：https://arxiv.org/pdf/2208.03901.pdf

代码：https://github.com/zzzqzhou/RAM-DSIR

深度学习方法假设训练数据和测试数据共享相同的分布信息。

这一假设要求训练和测试数据来自同一分布，这是一个强假设。

众所周知，由于不同的扫描仪、成像协议和操作者等多种因素，医学图像的质量差异很大。

不同实验室、不同专业人员、不同批次染色剂、不同扫描仪、不同玻片原材料、不同组织对颜色的响应程度等因素而引起的颜色差异，影响学习效果

由于数据分布的变化，这一假设在真实临床环境中通常变得无效。

因此，直接在一组训练图像上训练的分割模型可能缺乏对来自另一家医院或医疗中心、遵循不同分布的测试图像的泛化能力。

总体架构

在这里插入图片描述

图是一个用于医学图像分割的深度学习方法的总体架构，包含了两个主要部分：

(a) 随机振幅混合（RAM）模块：
这部分展示了如何生成具有不同领域风格的新图像，同时保留原始的语义信息。

具体步骤如下：

从不同领域（Domain 1, Domain 2, …, Domain K）随机采样图像。
对这些图像应用傅立叶变换（FFT），提取出它们的振幅映射（Amplitude Maps）。
通过计算不同振幅映射的加权和（通过一个称为λ的权重），结合原始的相位信息，再应用逆傅立叶变换（Inverse FFT）来合成新的图像。

通过这种方式，新图像包含了来自多个源领域的低级频率信息，有助于模型学习更具泛化性的特征。

(b) 训练流程（Training Pipeline）：
这部分描述了如何使用合成的图像来训练医学图像分割模型，整个流程包括：

使用RAM模块合成的图像来训练分割模型，这样做可以增加训练数据的多样性并提高模型的泛化能力。
分割模型（Seg Prediction）使用基本的分割损失（L_seg）和语义一致性损失（L_consist）。语义一致性损失确保合成图像和真实源域图像的预测结果在语义上保持一致。
为了进一步提高模型的泛化能力，引入了领域特定图像恢复（DSIR）解码器（Rec Decoder D_rec）来从合成图像中恢复原始源域图像的低级特征。
通过这样的训练，模型不仅学会了分割任务，还通过DSIR和RAM模块提高了对不同领域变化的鲁棒性。

整个架构的目的是减少模型对于特定医学图像领域的依赖，从而提高在不同设备、协议或医疗中心获取的图像上的表现。

使用如图所示的RAM和DSIR框架：

收集和处理不同设备的眼底图像：从各种眼底相机和扫描设备收集图像，并进行预处理。
应用RAM模块：对收集的眼底图像应用RAM模块，通过傅立叶变换提取振幅信息，并结合来自不同设备的图像的振幅，生成新的合成图像。
域特定图像恢复：使用DSIR解码器从合成图像中恢复出接近原始设备图像的低级特征。
训练分割模型：使用合成图像和原始图像训练分割模型，同时采用语义一致性损失和分割损失来确保模型能够在语义上正确地分割眼底结构。
评估和应用：在不同设备获取的眼底图像上评估模型的性能，并将其应用于实际的医学诊断中。

通过这种方法，即使是在不同设备上获取的眼底图像，模型也能够更好地泛化和适应，从而在实际的医疗环境中提供更准确的分割结果。

虽然这个特定的架构是为医学图像分割设计的，它的一些概念也可以应用于其他医学图像分析任务，包括糖尿病视网膜病变的分类。

关键在于方法的主要目的是增强模型对不同域的泛化能力，无论是分割还是分类。

两种领域适应策略

无监督领域适应 (UDA):
- 问题设定：利用来自一个或多个源域的有标签数据和目标域的无标签数据来训练分类器。
- 动机：使源域和目标域的分布对齐。
- 方法：
  - 生成模型：缩小源域和目标域之间的像素级分布差距。
  - 对抗训练：通过对抗性训练对齐源域和目标域的特征分布，以保持不同域中的语义特征一致。
  - 输出空间对齐：缩小源域和目标域在输出空间级别的分布差距。
领域泛化 (DG):
- 问题设定：仅在一个或多个相关源域上训练模型，并直接泛化到目标域。
- 方法：
  - 领域不变表示学习：最小化多个源域之间的领域差异。
  - 情景训练策略：利用元学习方法开发模型以泛化到未见过的域。
  - 领域特定知识：利用领域属性聚合领域特定的先验知识。
自监督正则化:
- 动机：利用无需注释的任务来学习数据的特征表示，为下游任务服务。
- 方法：
  - 自监督任务：引入自监督任务来规范语义特征学习。
  - 图像级恢复任务：开发图像级恢复自监督任务以进一步正则化模型。

例子：假设我们需要训练一个模型来识别和分类糖尿病视网膜病变图像。

步骤 1：使用UDA，我们可能会从一个医院（源域）获取有标签的图像，并从另一个医院（目标域）获取无标签的图像。

我们的目标是训练一个模型，能够在目标域的图像上表现良好，即使我们没有这些图像的标签。
步骤 2：如果目标域的数据因为隐私保护而不可用，我们转向DG。

我们将仅使用源域的数据来训练模型，并希望模型能够直接泛化到目标域。
步骤 3：为了提高模型的鲁棒性并减少过拟合，我们加入自监督正则化。

例如，我们可能会设计一个自监督任务，如图像级恢复，让模型学习如何从部分损坏的图像中恢复出完整的视网膜图像。
步骤 4：最终，我们评估模型在不同医院收集的糖尿病视网膜病变图像的分类性能。

如果模型在来自源域的测试集和未见过的目标域测试集（比如其他医院的数据）上都表现良好，那么我们可以认为模型具有良好的泛化能力。

完整流程：

数据准备

收集数据：从多个医院或诊所收集糖尿病视网膜图像。这些图像来自不同的设备，代表了多个源域。
标注数据：对部分数据进行专家标注，包括健康视网膜和不同阶段的糖尿病视网膜病变。

无监督领域适应 (UDA)

目标域数据：假设某些医院的数据无法获取标签，这些数据被视为目标域数据。
UDA应用：使用有标签的源域数据和无标签的目标域数据，训练一个模型，尝试缩小源域和目标域间的分布差异。

领域泛化 (DG)

模型训练：如果无法访问目标域数据或者目标域过于广泛，采用DG策略。仅使用源域的有标签数据训练模型，并期望它能够泛化到新的、未见过的目标域。

自监督正则化

自监督任务设计：设计自监督任务，如预测图像的缺失部分，作为训练过程的一部分。这有助于模型学习更丰富的特征表示，增强泛化能力。

随机振幅混合（RAM）模块

数据增强：使用RAM技术生成新的训练图像。这些图像结合了来自不同源域图像的频率信息，增加数据多样性，帮助模型学习处理来自不同设备的图像变化。

训练流程

模型训练：结合上述技术，训练糖尿病视网膜分类模型。利用自监督任务和RAM增强的数据，以及原始的有标签数据进行训练。
损失函数：使用分类损失（如交叉熵损失），以及自监督任务的损失来优化模型。

评估和应用

性能评估：在独立的测试集上评估模型性能，测试集包括来自未见过医院（设备）的图像。
应用：将训练好的模型部署到临床环境中，帮助医生识别和分类糖尿病视网膜病变，以便及时治疗。

通过这个流程，可以看到UDA、DG、自监督正则化、RAM模块和训练流程如何相互配合，共同解决糖尿病视网膜病变分类任务中的领域适应问题。

这个综合策略旨在提高模型对于不同设备、不同医院收集的图像的泛化能力，确保在实际应用中具有较高的准确性和可靠性。

数学构造

傅立叶变换 (公式 1)

目的：将图像从空间域转换到频率域。
推导：
- 对于每个图像 $x^k_i$ ，计算其傅立叶变换 $F(x^k_i)$ 。
- 傅立叶变换把图像转换为频率空间信号，表示为 $F(x^k_i)(u,v)$ 。

$F(x_i^k)(u, v, c) = \sum_{h=0}^{H-1} \sum_{w=0}^{W-1} x_i^k(h, w, c)e^{-j2\pi(\frac{h}{H}u + \frac{w}{W}v)}, \quad j^2 = -1.$

振幅和相位分解 (无明确公式编号)

目的：在频率域中分解图像为振幅和相位，振幅包含风格信息，相位包含结构信息。
推导：
- 从傅立叶变换得到的信号 $F(x^k_i)$ 中分解出振幅 $A^k_i$ 和相位 $P^k_i$ 。

随机振幅混合 (RAM) (公式 2 和 3)

目的：通过混合不同源域图像的振幅，生成新的图像以增加数据多样性。
推导：
- 随机选择一个样本图像 $x^k_i$ 和另一个样本 $x^n_j$ 。
- 通过权重 $\lambda$ 和二元掩码 $M$ 插值两个图像的振幅 $A^k_i$ 和 $A^n_j$ 。
- 使用插值后的振幅 $A^{n \rightarrow k}_i$ 与原始相位 $P^k_i$ 通过逆傅立叶变换合成新图像 $x^{n \rightarrow k}_i$ 。

$A_{i, \lambda}^{n \rightarrow k} = A_i^k * (1 - M) + ((1 - \lambda)A_i^k + \lambda A_j^n) * M,$

$x_{i, \lambda}^{n \rightarrow k} = F^{-1}(A_{i, \lambda}^{n \rightarrow k}, P_i^k),$

分割模型训练 (公式 4, 5, 6, 7 和 8)

目的：训练模型以进行图像分割，并通过损失函数优化。
推导：
- 定义分割模型的前向传播，使用编码器 $E$ 和分割解码器 $D_{seg}$ 。
- 计算预测的分割掩码 $\hat{y}^k_i$ 。
- 通过交叉熵损失 $L_{ce}$ 和 Dice 损失 $L_{dice}$ 优化模型，这两个损失结合评估分割的精确度和一致性。

$\hat{y}_i^k = D_{seg}(E(x_i^k)),$

$\hat{y}_{i, \lambda}^{n \rightarrow k} = D_{seg}(E(x_{i, \lambda}^{n \rightarrow k})),$

$L_{ce}^k = -\frac{1}{N} \sum_{i=0}^{N-1} (y_i^k \log \hat{y}_i^k + (1 - y_i^k) \log(1 - \hat{y}_i^k)),$

$L_{dice}^k = 1 - \frac{2 \sum_{i=0}^{N-1} y_i^k \hat{y}_i^k}{\sum_{i=0}^{N-1}(y_i^k + \hat{y}_i^k + \epsilon)},$

$\mathcal{L}_{seg}^k=\mathcal{L}_{dice}^k+\mathcal{L}_{ce}^k,\quad\mathcal{L}_{seg}^{n\to k}=\mathcal{L}_{dice}^{n\to k}+\mathcal{L}_{ce}^{n\to k}.\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad(8)$

语义一致性损失 (公式 9)

目的：确保分割模型在风格化图像和原始图像上具有一致的预测。
推导：
- 使用KL散度 $K L$ 计算预测掩码和目标掩码之间的差异。
- 通过 $L_{consist}$ 最小化源域和合成图像预测之间的差异。

$\mathcal{L}_{consist}^k=\frac1N\sum_{i=0}^{N-1}\Big(\mathrm{KL}(\hat{y}_i^k\|\hat{y}_{i,\lambda}^{n\to k})+\mathrm{KL}(\hat{y}_{i,\lambda}^{n\to k}\|\hat{y}_i^k)\Big),\quad\quad\quad(9)$

领域特定图像恢复 (DSIR) (公式 10 和 11)

目的：从低级特征中恢复图像，作为正则化任务。
推导：
- 定义图像恢复模块的前向传播，使用编码器 $E$ 和图像恢复解码器 $D_{rec}$ 。
- 通过L2距离作为恢复损失 $L_{rec}$ 来优化图像恢复模块。

$\begin{aligned}\hat{x}_{i}^{k}=D_{rec}^{k}(E(x_{i,\lambda}^{n\to k})),\quad(10)\end{aligned}$

$\begin{aligned}\mathcal{L}_{rec}^k&=\frac{1}{NHWC}\sum_{i=0}^{N-1}\sum_{h=0}^{H-1}\sum_{w=0}^{W-1}\sum_{c=0}^{C-1}\left(x_i^k(h,w,c)-\hat{x}_i^k(h,w,c)\right)^2,\quad(11)\end{aligned}$

7. 总损失 (公式 12)

目的：结合所有损失，以全面优化模型。
推导：
- 总损失 $L_{total}$ 是基础分割损失 $L_{seg}^k$ 、合成图像的分割损失 $L_{seg}^{cn-k}$ 、图像恢复损失 $L_{rec}^k$ 和一致性损失 $L_{consist}^k$ 的加权和。
- 每个损失函数都由一个对应的权重参数 $\lambda$ 控制，这些权重参数在训练前需要设定。
- 总损失函数可以表示为：

$L_{total} = \frac{1}{K} \sum_{k=1}^{K} \left( \lambda_1 L_{seg}^k + \lambda_2 L_{seg}^{cn-k} + \lambda_3 L_{rec}^k + \lambda_4 L_{consist}^k \right)$

其中， $K$ 是源域的数量， $\lambda_1$ 到 $\lambda_4$ 是超参数，用来平衡不同损失项的重要性。

想象我们正在处理眼科疾病的诊断，需要从眼底图像中分割出视盘和视杯区域。

我们收集了来自多家医院的眼底图像，每家医院使用不同的眼底相机，这就在图像中造成了变化，可以被视为不同的“域”。

傅立叶变换（公式1）：我们首先将每张眼底图像的空间信息转换为频率域，因为这样可以减少由于不同相机造成的图像对比度或亮度变化的影响。

例子：对于每张眼底图像，我们计算其傅立叶变换，捕捉图像的结构和纹理细节的频率成分。
振幅和相位分解：进行傅立叶变换后，我们分离振幅和相位成分。振幅可能包含了图像的风格信息，而相位则包含了结构信息。

例子：从变换后的眼底图像中，我们提取振幅和相位。振幅可能反映了视盘和视杯的纹理信息，而相位则描绘了它们的形状和位置。
随机振幅混合（RAM）（公式2和3）：为了增加训练数据的多样性，我们混合了来自不同域的图像振幅，创造新的图像风格。

例子：我们可能会取一张来自甲医院的眼底图像的振幅，与乙医院的图像振幅混合，然后进行逆傅立叶变换，创建一个新的混合风格图像供模型学习。
分割模型训练（公式4, 5, 6, 7和8）：模型被训练用来从原始图像和新创建的混合图像中分割视盘和视杯。它必须学会无视相机的特性，准确分割。

例子：模型在眼底图像中预测视盘和视杯的边界。我们使用交叉熵和Dice损失来评估预测分割与实际医学标注的一致性。
语义一致性损失（公式9）：我们引入了语义一致性损失来确保模型对原始图像及其混合版本的分割预测保持一致性。

例子：如果模型在甲医院的图像中预测了视盘的边界，它也应该在由甲乙医院数据创建的混合图像中做出相似的预测，以保持预测的一致性。
领域特定图像恢复（DSIR）（公式10和11）：此步骤帮助模型学习如何从混合频率信息中恢复原始眼底图像，加强对解剖结构的理解。

例子：模型尝试从混合了不同医院图像数据的频率信息中重建甲医院的原始眼底图像。
总损失（公式12）：所有损失组成部分结合起来形成总损失，用于训练模型。