- 选题背景和意义:
医学电子内窥镜是传统内窥镜与计算机、微电子等技术不断发展和融合的产物,是当前应用非常广泛的医疗仪器,内窥镜可进行有效的体内检查,拍摄病变部位图像,摘取病变部位作为样本,为下一步治疗提供更多信息。然而在现实运用中,医学图像在采集、转换和传输中,常受到成像设备与外部环境影响,内窥镜图像不可避免地会存在一些噪声,噪声的存在会严重降低图像质量,损害图 像中的细节信息,干扰医生的正确判断,甚至造成误诊。所以如何改进内窥镜去噪技术,使其能够很好地去除图像中的噪声并且最大程度保留图像有效信息,在现实应用中具有重要的价值。
我们所研究电子内窥镜采用的是CMOS图像传感器进行成像,目前在去噪方面所使用的是双边滤波,本课题拟基于卷积网络的深度学习方法,对内窥镜图像去噪方法进行研究和改进。
- 课题关键问题及难点:
本课题的关键任务包括:分析内窥镜噪声特征、建立内窥镜图像数据库、分析并训练有效的去噪卷积神经网络,以实现内窥镜图像去噪。
- 分析内窥镜噪声特征
本次研究内窥镜采用的是CMOS图像传感器,其主要噪声来源有像素光敏单元的光电二极管,场效应管及图像传感器工作时产生的其他噪声。其中光电二极管产生的噪声有热噪声,散粒噪声,产生符合噪声及电流噪声。MOS场效应管,包括放大器中的场效应管和用于行列选址模拟开关的场效应管,引起的噪声主要有热噪声,诱生栅极噪声及电流噪声。光敏阵列和MOS场效应管构成的CMOS图像传感器在工作中,还有引进其他噪声,如复位噪声(KTC噪声)和空间噪声等。
如上图,其中有些噪声可以通过相关双采样电路等模拟降噪方法进行处理,本文主要考虑的将是数字降噪处理部分的工作。
图像去噪面临着细节和噪声的区分取舍问题,由于我们的去噪目标是医学图像,对于噪声特征更是应该调查详尽,以做到去噪时的严谨,使去噪后图像真正做到能够被临床运用。
- 建立内窥镜图像数据库
与大部分涉及深度学习的任务类似,本文的难点之一即如何标注噪声信息并建立数据库以达到训练的样本需求。
目前来看,在数字降噪处理阶段最主要需要处理的是高斯噪声和椒盐噪声,由于观察得到在优质理想环境下的宣传片比较清晰,可以考虑以清晰的样本作为目标,加入高斯噪声模拟真实噪声再采用滤波方式得到正负样本;或者像Google的hdr 所采用的,用RGB图像生成RAW数据,然后在RAW域上添加噪声;也有文章用GAN生成噪声添加到图像上,也是一种有趣的思路。争取能够尝试不同方法,并进行效果对比。
难点在于把握图像去噪的度,需要确保样本的医学细节没有被抹去的同时尽可能分离噪声信息;同时由于需要大量的标注信息,可能需要花费大量时间。
- 分析并训练有效的卷积神经网络
传统CNN由三个部分组成:
