医学论文解读-CartiMorph: A framework for automated knee articular cartilage morphometrics

期刊Medical Image Analysis年份2024英文题目Semi-supervised medical image classification via distance correlation minimization and graph attention regularization中文译为基于距离相关性最小化与图注意力正则化的半监督医学图像分类一、摘要医学影像深度学习通常需要大量由临床专家标注的数据但医学影像标注存在下面的系列问题成本高耗时长需要专业医生数据隐私与伦理限制现实情况通常是少量 labeled data大量 unlabeled data因此作者提出一种新的Semi-Supervised Learning半监督学习方法。论文的核心有两个部分。第一Distance Correlation Minimization对于同一张未标注医学图像作者首先做两种不同的数据增强然后分别送入两个相互独立、不共享参数的深度神经网络得到两套特征随后计算距离相关性并将其最小化。目的不是强迫两套特征一样而恰恰相反是减少两个特征空间之间的redundant information即冗余信息。让两个网络从同一张图像中学习不同但互补的医学影像特征。第二Graph-Attention Regularization作者进一步认为一张医学图像不能只单独看它和其他患者影像之间本身存在潜在关系。例如相似病理相似组织结构相似影像表现相似异常模式。因此作者把一个batch中的未标注样本构造成Graph同一个图像经过两种增强以后会形成两套图结构 Rf​和 Rg​作者要求 Rf​≈Rg​也就是说即使同一批医学图像经过不同增强样本之间的内在关系应该基本保持一致。从而进一步利用未标注数据。最终实验覆盖X-raydermoscopyCTMRI四种医学影像场景并且在多个标注预算下与多种半监督方法相比取得了较有竞争力的结果。二、创新点创新点一首次将距离相关性最小化用于医学影像半监督分类已有很多半监督方法采用Prediction Consistency例如同一张图经过不同增强以后分类结果应该一致。或者采用Pseudo Label利用模型预测结果作为未标注数据的标签。但这些方法都有问题。例如伪标签容易出现Confirmation Bias即模型一开始预测错了错误标签又继续拿来训练模型导致错误越来越强化。Mean Teacher等方法又可能因为Teacher和Student参数高度耦合导致两个网络缺乏足够的功能多样性。因此作者没有强迫两个网络 Prediction A​Prediction B​而是在Feature Space上做文章。作者提出让同一张图不同增强视图产生的两个特征空间尽可能减少统计依赖。距离相关性的优势在于不仅能够检测线性关系也能够检测非线性关系。这一点非常适合DNN因为深度网络本身就是 Nonlinear Transformation创新点二提出基于图注意力的未标注样本关系正则化作者认为仅仅做特征去相关还不够。未标注医学图像之间实际上具有Relational Information例如两个膝关节MRI可能都存在ACL异常半月板异常相似骨结构类似组织信号。这些相似性本身也是非常有价值的信息。因此作者建立图每个节点对应一个未标注样本。作者不提前人为定义“哪两张图片应该连接”。而是所有节点先连接再通过GATGraph Attention Network自动学习 Attention(i,j)即第 i 个样本应该多大程度关注第 j 个样本。然后要求同一批图像在两个不同增强视图下 Rf​和 Rg​的样本关系保持一致。因此它学习的是 Instance−to−instance relation​而不是简单利用单个图像。创新点三不依赖伪标签也不需要Teacher–Student参数耦合这也是论文和很多SSL方法的重要区别。它没有Pseudo Label所以避免了严重的confirmation bias。同时两个网络 f(⋅)和 g(⋅)参数是 θ和 ϕ两套独立参数。不是 TeacherEMA(Student)因此作者把它称为non-coupled DNN architectures即两个网络结构可以相同也可以不同而且参数独立更新。这样理论上能够保持更强的representation diversity即表示多样性。三、方法这篇论文的方法可以看成三个Loss分别对应有标签数据分类监督未标注数据特征去相关未标注数据图关系一致性。作者对未标注数据生成两个不同视图论文主要采用RandAugment包括BrightnessAutoContrastEqualizeInvertRotatePosterizeSolarizeContrastSharpnessShearTranslate之后将增强的图像和标签图像一起送入两个分支对有标签数据的分类预测对未标注样本的进行距离相关性和图正则化约束。3.1 Distance Correlation对于未标注样本两个网络得到X和 Z。作者计算不同样本之间的特征距离然后经过双中心化得到和进一步计算Distance Covariance然后归一化得到其范围 0≤≤1。其中≈1说明两个特征空间高度相关、包含大量重复信息。而≈0说明两个特征空间之间依赖较小。所以训练目标是 min为什么这里是“最小化相关性”而不是“最大化一致性”这是这篇论文最容易让人疑惑的地方。通常SSL会说同一张图不同增强应该得到相似表示。但是本文认为如果两个网络最后学习到完全相同的东西就产生了大量冗余信息。例如两个网络都只学灰度强弱某个固定组织纹理但忽略其他信息。作者希望网络A可能更加关注Texture网络B可能更加关注 Structure或者 Pathological Pattern因此 X和 Z之间不应该完全重复。所以这里的思想更接近Feature Decorrelation / Redundancy Reduction而不是传统的consistency。3.2 构建未标注样本图然后作者把X看作一个图​,把 Z看作另外一个图。每个或者就是一个节点。所有节点先全部连接 Fully Connected Graph。因此不需要事先知道哪两个病人是同一类。分别使用Graph Attention Network学习样本关系和对于节点i和 j计算注意力再经过Softmax得到。这个值表示样本 i 和样本 j 在当前特征空间中有多强的关系。最终形成和两张注意力关系矩阵。虽然作者希望X和 Z本身不要太冗余但它们对于“哪些患者彼此相似”的判断应该保持稳定。例如同一batch中Patient A和Patient C非常相似Patient B和Patient D比较相似这种关系不应该因为图像亮度或旋转发生变化。因此作者要求​。利用Cross-Entropy定义3.3 总损失最终其中论文实验设置λ0.4。所以三部分分别承担Lcls​学习疾病类别。Ldc​减少两个网络特征的冗余。Lgr​保持未标注样本之间的关系一致。所以最终形成一种很有意思的组合Feature Representation不同​但Data Relationship:一致​可以把它理解成两个网络可以从不同角度理解同一批患者但对“哪些患者彼此相似”的认识应该一致。训练的时候需要两个DNN两个GATDistance CorrelationGraph regularization。但是测试的时候全部不需要。训练结束后作者只选择validation表现最好的那个DNN backbone用于最终分类。因此Training:2DNN2GAT但是 Inference:1DNN所以GAT不会给测试阶段增加额外计算开销。四、试验4.1 数据集数据集模态任务NIH-14X-ray14种胸部疾病多标签分类ISIC 2018Dermoscopy皮肤病变7分类COV19-CTCTCOVID阳性/阴性Knee MRNetMRI膝关节异常分类标注比例数据集模态任务NIH-14X-ray14种胸部疾病多标签分类ISIC 2018Dermoscopy皮肤病变7分类COV19-CTCTCOVID阳性/阴性Knee MRNetMRI膝关节异常分类4.2 结果当标注只有5%本文75.77明显高于监督训练 66.267.5%标注本文 79.38也是最佳。但是当标注提高到 15%,25%以后NoTeacher反而超过本文。所以作者明确指出SSL-DcGaR最大的优势主要体现在极少标签条件。五、总结本文提出SSL-DcGaR半监督医学图像分类方法通过两个独立DNN对同一未标注图像的不同增强视图进行编码利用距离相关性最小化减少两个特征空间中的冗余信息同时将未标注样本构造成全连接图并通过图注意力学习样本间关系约束不同视图下的关系结构保持一致最终将监督分类、特征去相关和图关系正则化联合优化从而在仅有少量人工标注的情况下提升医学影像分类性能