原创
文BFT机器人
01
摘要
使用自然图像数据集（如ImageNet）中的大型预训练模型进行迁移学习已经成为医学成像深度学习应用的实际方法。然而，由于自然图像分类和医学成像任务之间的差异，对迁移学习的影响了解甚少。
本文对医学影像迁移学习进行了探讨，并对两个大型医学成像任务进行了性能评估，结果显示传输学习对性能几乎没有好处。同时，研究表明，一些差异是由于标准模型的过度参数化，而不是复杂的特征重用。
研究还探讨了通过权重缩放引起的独立于特征的迁移的好处。因此，简单、轻量级的模型在医学影像处理中可以与ImageNet体系结构相比，并且对于更有效的模型探索具有重要的意义。
02
介绍
随着深度学习的发展，迁移学习在许多应用中已经成为重要的一部分，尤其在医学成像领域。目前的标准是采用现有的自然图像数据集（如ImageNet）设计的架构，搭配相应的预训练权重，然后在医学成像数据上进行微调。
迁移学习在多个医学专业中被广泛采用。其中两个主要研究方向是在放射学中使用ResNet、DenseNet等架构进行胸部X光照片的训练，以及在眼科学中使用Inception-v、ResNet等进行视网膜眼底图像的训练。
眼科学研究甚至已获得FDA批准，并在临床中得到全面应用。其他应用包括早期检测阿尔茨海默病、从皮肤癌照片中识别皮肤癌，甚至用于体外受精程序中的人类胚胎质量评估。
尽管在医学成像中迁移学习广受欢迎，但对其精确效果的研究仍较少，即使在自然图像领域中的最近研究也对许多常见观点进行了挑战。
医学成像设置中，许多类似的问题仍然存在。如上所述，迁移学习通常通过采用标准ImageNet架构及其预训练权重，然后在目标任务上进行微调。然而，ImageNet分类和医学图像诊断在数据特性和任务规模上有明显差异。
首先，许多医学成像任务始于感兴趣的身体区域的大型图像，并利用局部纹理变化来识别病理。例如，在视网膜眼底图像中，小的红色“点”是微血管瘤和糖尿病视网膜病变的指示标志，而在胸部X光片上，局部白色浓密斑块是肺实变和肺炎的迹象。而在自然图像数据集（如ImageNet）中，通常会有一个清晰的全局图像主体（图1）。因此，ImageNet特征重用对于医学图像是否有益仍然是一个问题。
此外，大多数医学数据集的图像尺寸较大（以便搜索局部变化），但图像数量远少于ImageNet的约一百万张。与之相比，医学数据集的图像数量范围从几千张到几十万张。
最后，医学任务通常具有较少的类别（例如，糖尿病视网膜病变诊断有5个类别，胸部X光片中有5-14个类别），而标准ImageNet分类有个类别。由于标准ImageNet架构在更高层级上有大量参数，集中在更高层级有着这个原因，所以这些模型的设计可能对医学场景不太理想。
在本文中，作者对医学图像的迁移学习进行了细粒度研究。他们的主要贡献包括：
[1]作者评估了标准的自然图像架构，例如ImageNet，以及一组非标准的较小、更简单的模型，在两个大规模的医学成像任务上的性能，这些任务当前使用迁移学习是常态。我们发现：（i）在所有这些情况下，迁移学习对性能没有显著帮助；（ii）较小、更简单的卷积架构与标准的ImageNet模型表现相当；（iii）ImageNet性能不能预测医学任务的性能。这些结论在数据量非常小的情况下也成立。
[2]鉴于性能相当，我们研究了使用预训练权重是否会导致不同的学习表示，通过使用(SV)CCA[22]来直接分析隐藏表示。我们发现预训练确实会影响隐藏表示，但模型大小存在混淆问题，即大型的标准ImageNet模型在微调过程中变化不大，这通过初始化时和收敛后的表示相似性之间出现的令人惊讶的相关性证实。
[]通过进一步分析和权重转移实验，我们发现了有意义的特征重用发生在哪些位置，并探索了混合迁移学习方法，其中部分预训练权重被使用，网络的其他部分重新设计，变得更轻量级。
[4]我们展示了预训练的权重也有特征无关的好处，仅重用预训练权重的缩放部分而不使用特征，可以大大加快收敛速度。
0
迁移学习模型与性能评估
为了奠定研究基础，作者选择了多个神经网络架构，并在两种情况下评估它们的性能：随机初始化训练和从ImageNet进行迁移学习。他们训练了标准的、高性能的ImageNet架构，这种在迁移学习中很流行，同时也训练了一系列较小的卷积神经网络，这些较小的模型在医疗任务上表现相当好。
有限的研究
