基于弱监督的细粒度菌类表型识别研究开题报告

全文总字数：5819字

1. 研究目的与意义、国内外研究现状（文献综述）

1 课题的意义、国内外研究进展、应用前景等（列出主要参考文献）

1.1 课题的意义

细粒度图像识别是计算机视觉中图像识别问题的一个子问题，和普通的图像识别问题有所不同的是其识别的粒度更细^[1]。普通的图像识别问题一般可以分为实例级和语义级两个粒度：实例级指系统需要能够将两个同一类的不同物体识别为不同的两个对象，一般用于人脸识别^[2]，目标跟踪^[3]等场景；语义级指系统识别出的对象能够满足给定的语义级的要求，一般用于语义分割^[4]，病灶识别^[5]等场景。而细粒度的图像识别正是处于实例级和语义级两者之间，可以用在如车型识别^[6]，病虫害检测^[7]等场景。目前人类已发现的菌类共有约10万种，且多数菌类的表型差异甚微，只有专业的菌类植物学家才能识别其分类。在本课题中，将细粒度的图像识别技术应用在菌类表型的识别中，能够更方便快捷的实现对菌类的表型识别，可在一定程度上减轻对领域专家的依赖，部分的解决高端人才资源缺乏问题，具有非常大的研究意义。

2. 研究的基本内容和问题

2 研究的目标、内容和拟解决的关键问题

2.1 研究目标

（1）研究并实现基于深度学习的弱监督细粒度图像识别算法

收集并研究几种最新的有效的弱监督细粒度图像识别算法，之后深入的学习研究其内部原理，理解其核心算法的构造和步骤。

（2）将算法应用于菌类的表型识别并进行一定的优化

将实现的几种弱监督细粒度图像识别算法应用于菌类表型的数据集中，分析实验结果并进行相应的改进和调优。

（3）完成细粒度菌类表型识别应用

将训练好的模型移植至web端，以网页的形式实现对菌类表型的识别。

2.2 研究内容

（1）细粒度图像识别算法

细粒度图像识别算法可以根据人工标注的额外信息的多少分为两类：强监督的细粒度图像识别和弱监督的细粒度图像识别。强监督的细粒度图像识别是指除了图像本身，还给出了其他人工标注的信息，如使用标注框标出物体所在位置或细节信息的位置，使用标注点指出物体的各个部位等。目前属于强监督的细粒度图像识别方法有Part-based R-CNN、Pose Nmalized CNN、Mask-CNN等。弱监督的细粒度图像识别是指除了图像本身，只给出图像所属的类型这一信息，无需给出其他人工标注的信息。目前属于弱监督的细粒度图像识别方法有Two Level Attention Model、Constellations、BilinearCNN等。

表1给出了目前几种强监督和弱监督的细粒度图像识别方法的比较，可以看出总体来说弱监督的方法准确率较高于强监督的方法，且现实中绝大多数的图像是未经过人工标注的，故研究基于弱监督的细粒度图像识别技术有较好的前景和应用价值。

表1 目前几种强监督和弱监督的细粒度图像识别方法对比

一般来说，弱监督的细粒度图像识别算法可以分为以下三个步骤：物体定位和局部区域检测、细粒度特征提取、使用细粒度特征进行分类。不同于普通的图像识别，细粒度的图像识别更关注图像的细节部分，故在关注图像整体信息的同时更需要通过物体定位和局部区域检测使系统能知道图像的细节部分的位置；之后通过特征提取的方式将图像整体的特征和局部细节的细粒度特征获得；最后通过一个分类器对上一步提取到的特征进行判别，输出系统认为该图像所属的类别。但近年来也出现了端到端训练的方式，此种方式无需分步设计网络的结构，只需完整的设计出一个从输入到输出的系统，通过网络自动的学习，实现输入的图像最终得到输出的类别信息。

（2）菌类表型识别与优化

因菌类表型的数据集的数量不多，需要首先使用过采样等技术实现数据集的扩充，之后再将设计好的算法应用在菌类表型的数据集上，根据得出的结果进行进一步的分析，再根据分析的结果对网络模型进行适当的修改、对网络参数进行逐步的调优，进而不断改进完善整个算法。

（3）模型移植与web端实现

为了最后的系统便于展示效果并发挥其作用，需要将得到的算法包装为应用。选择使用网页的形式来实现应用，原因是TensFlow框架具有在嵌入式设备上工作的能力，可以在安卓设备或通过TF.js在网页上进行模型的调用和进一步训练，但该应用只有根据用户输入的图片得到图片对应的分类信息这一个功能，强求用户下载并安装一个app是不合理的，且安卓平台的应用与ios等平台不兼容。故最终采用网页的形式，网页是跨平台的，最终的应用可以在任何现代的浏览器上运行，用户无需安装额外的软件。

2.3 拟解决的关键问题

（1）细粒度图像识别网络的设计

（2）如何进行模型在菌类表型方面的调优

（3）web端的搭建以及模型的调用

3. 研究的方法与方案

3 研究方法、技术路线、实验方案及可行性分析

3.1 研究方法

（1）充分查阅资料，研读细粒度图像识别方面的论文

（2）搭建实验环境，安装并学习TensFlow和Keras框架的使用

（3）收集细粒度菌类表型的数据集

（4）设计并实现细粒度图像识别的算法

（5）将算法应用于细粒度菌类表型方面

（6）分析结果，对网络进行进一步的调优

（7）将调优后的模型导出

（8）使用Node.js实现web端，并使用TF.js实现对模型的调用

3.2 技术路线

使用Ubuntu操作系统，Python语言，TensFlow和Keras机器学习框架完成细粒度图像识别算法。

Python语言

Node.js实现web端

TensFlow框架

Keras框架

算法模型

TensFlow.js框架

网页应用

使用Node.js实现web端，TF.js对模型进行调用以完成网页应用。

图1 技术路线

3.3 实验方案

（1）使用鸟类数据集进行细粒度图像识别算法的研究与实现

（2）使用数据集扩充方法对菌类表型数据集进行扩充

（3）将细粒度图像识别算法应用于扩充后的菌类表型数据集中

（4）对实验结果进行分析，对算法进行改进和调优

（5）各数据集均随机分出小部分用于测试，其余大部分用于训练

3.4 可行性分析

（1）细粒度图像识别领域已有一些较成熟的方法并取得了较好的研究成果，有一些相关的文献和开源代码可以参考学习

（2）细粒度的菌类表型图像数据集易于取得

（3）深度学习方面相关工具已较为成熟，拟使用的TensFlow和Keras框架使用方便且文档齐全

（4）具备Linux、Python、深度学习等相关基础知识，能迅速学习掌握其他相关知识

4. 研究创新点

4 特色或创新之处

虽然在细粒度图像识别方面已有一些学者做到了较好的结果，但一方面识别的准确率还有较大的提高空间，另一方面在不同的领域下使用不同的数据集识别的效果差别较大，具有很大的调优空间，且菌类表型识别领域目前还没有人做出细粒度识别方面的工作。故本课题所研究的基于弱监督的细粒度菌类表型识别课题很具农业特色、有很大的创新空间。

5. 研究计划与进展

5 研究计划及预期进展

5.1 研究计划

（1）2018年11前：相关知识储备