英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料

Semi-MsST-GAN：用于裂隙灯图像角膜溃疡分割的半监督分割方法

摘要

角膜溃疡是导致角膜失明的常见主要原因。由于点片状和片状角膜溃疡病理形态差异大、边界模糊、噪声干扰、缺乏足够的裂隙灯图像等问题，难以准确分割角膜溃疡。为了解决这些问题，本文提出了一种新的半监督多尺度自变压器生成对抗网络(Semi-MsST-GAN)，该网络可以利用未标记图像提高裂隙灯图像荧光素染色的角膜溃疡分割性能。首先，为了提高性能分割的角膜溃疡区域与复杂的病理特征，我们提出了一种新颖的多尺度自变压器网络(MsSTNet)MsST-GAN生成器，可以指导模型聚合低级的弱语义特征与高水平的强语义信息和自适应学习特征地图的空间相关性。然后，为了利用未标记数据进一步提高分割性能，因此提出了半监督方法。

关键词：角膜溃疡，GAN，裂隙灯图像，半监督，深度学习

引言

角膜是位于眼球前部的一种透明膜，直接暴露在空气中。因此，它更容易被细菌感染，导致一些常见的眼部症状，如角膜溃疡。角膜溃疡是一种炎症性或更严重的感染性疾病，涉及角膜间质上皮层的破坏(Bron et al., 2007; Chen and Yuan, 2010)。晚期或不适当的治疗可能会对视力造成不可逆转的损害(Cohen et al., 1987; Diamond et al., 1999)。

荧光素染色是验光和眼科中应用最广泛的诊断技术，用于评估眼表的完整性，特别是角膜的完整性(Morgan and Carole, 2009; Zhang et al.,2018ensp;)。随着染色技术的发展，医生可以通过对裂隙灯图像的荧光素染色来定量评估角膜溃疡的大小和严重程度。

溃疡区域的准确分割对于评估角膜溃疡的严重程度和制定治疗计划是必要的。如图1所示，根据病理特征和分布，角膜溃疡可分为点样角膜溃疡、点片状混合性角膜溃疡和片状角膜溃疡。虽然溃疡区域可以由经验丰富的眼科医生通过一些专业的软件手动标记，但这项任务是非常消时且主观的。因此，探索一种能够自动、准确地分割角膜溃疡区域的方法具有十分重要的意义。

图一

有一些分割方法（Pritchard et al., 2003; Wolffsohn and Purslow, 2003; Peterson and Wolffsohn, 2009)为单独的点状角膜溃疡设计，而不是为点片状或片状类型。随后，提出了形状更复杂的角膜溃疡的分割方法，取得了良好的效果（Chun et al., 2014; Sun et al., 2017; Deng et al., 2018a,b; Liu et al., 2019). Chun et al. (2014) 提出了一种客观的数字图像分析系统，利用RGB（红绿蓝）和色调饱和度值(HSV)技术对100张图像进行角膜染色评估。Deng et al. (2018a)提出了一种利用k-means聚类、形态学操作和区域生长的溃疡自动分割方法。然后，在Deng et al. (2018b) 中，提出了一种简单的线性迭代聚类(SLIC)超像素管道，用于使用150张图像自动提取状角膜溃疡区域。 Liu et al. (2019) 采用Otsu和高斯混合模型(GMM)联合方法对150张图像进行溃疡分割。 Sun et al. (2017) 提出了一种基于补丁的深度卷积神经网络(角膜溃疡节段CNN)。

最近，一些cnn被提出用于医学图像分割，如UNet (Ronneberger et al., 2015), CE-Net (Gu et al., 2019), Att-UNet (Oktay et al., 2018), and CPFNet (Feng et al., 2020)等，由于其良好的性能，它们大多数都是基于编解码器架构(Ronneberger et al., 2015) 。该编码器可以提取上下文信息，降低特征映射的空间维数。该解码器可以恢复目标的空间尺寸和细节。跳过连接有助于恢复网络输出处的全空间分辨率，使网络适合于语义分割(Zhou et al., 2018)。然而，u型网络中原始的跳过连接会引入不相关的杂波，并由于感受域的不匹配而产生语义间隙(Feng et al., 2020)。在最初的U-Net中，注意力U-Net(AttUNet)(Oktay et al., 2018)和CPFNet(Feng et al., 2020) 等方法引入了一种注意机制，其核心思想是将全球焦点转向重点和局部区域焦点。注意机制试图将网络的注意力集中在通道之间的关系上，收集空间信息集中在相关特征上，抑制特征图中的不相关区域。利用注意机制来捕获更丰富的对象细节，而不是从编码器和解码器中直接连接特征映射，这是有益的。虽然这些基于cnn的方法取得了良好的性能(Ronneberger et al., 2015; Oktay et al., 2018; Gu et al., 2019; Feng et al.,2020),但一些基于cnn的方法已经被提出用于裂隙灯图像中的角膜溃疡分割。为了提高裂隙灯图像中角膜溃疡分割的准确性，仍有两个问题需要解决：（1）复杂的病理特征引起的干扰，如点状、点状、片状角膜溃疡、边界模糊、噪声干扰，（2）如何利用大量的未标记数据进一步提高分割精度。本文提出了一种新的基于对抗性学习的半监督算法来解决当前的困境。我们的主要贡献总结如下：

1. 为了提高具有复杂病理特征的角膜溃疡区域的分割性能，提出了一种新的多尺度自变换网络(MsSTNet)进行角膜溃疡分割，该网络可以提高模型从不同层次捕获多尺度特征的全局远程依赖性的能力。
2. 为了利用无标记样本进一步提高性能，提出了一种新的半监督多尺度自式变压器生成对抗网络(Semi-MsSTGAN)。
3. 基于SUSTechSYSU数据集进行的综合实验验证了我们所提方法的有效性。结果表明，与其他最先进的算法相比，该方法不仅获得了更高的分割精度，而且可以利用未标记数据进一步提高分割性能。

方法

我们采用了对抗性框架作为我们提出的方法的架构，其中包含一个发生器网络和一个鉴别器，参考Mirza和Osindero (2014)和Isola et al. (2017)。下面提供了对所提方法的详细描述和功能解释。

半MSST-GAN

近年来，生成式对抗网络(GANs) (Goodfellow et al., 2014) 及其变化(Chen et al., 2016; 资料编号：[603362]，资料为PDF文档或Word文档，PDF文档可免费转换为Word