基于迁移学习的IFI数据库人脸表情识别开题报告

全文总字数：1253字

1. 研究目的与意义

1.利用深度学习技术提取图片中人脸的表情特征，结合视频中的声音信号，提高目前关于人脸表情识别算法的准确率

2.优化识别算法，提高目前关于人脸表情识别算法的效率

3.基于网络图片以及最后的识别模型以及对抗生成网络来扩充有关人脸表情的数据集

2. 国内外研究现状分析

目前应用于fer的主流数据集：

ck : 使用最广泛的实验控制下的数据集，包含来自123个对象的593个视频片段。每个视频从中性表情变化为一种特殊的表情。其中来自118个对象的327个视频被标注了七种基本表情。mmi：实验控制下的数据集，包含来自32的对象的326个视频， 与ck 相比， mmi对于同一个内部的变化程度更大。jaffe： 实验控制下的数据集，包含来自10个对象的213张图片，每个对象的每一种表情都有3-4张图片。tfd：包含112234张图片，其中4178张图片被标注了7种表情，图片中的脸部被预先检测并切割到48*48的大小。fer2013：训练集包含28709张图片，验证集包含3589张图片，测试机包含3589张图片，48*48大小。

目前应用于fer的主流算法：

3. 研究的基本内容与计划

上学期3月1日 阅读相关文献, 学习深度学习原理(CNN, RNN), 学习深度学习框架(TensorFlow, Keras, Pytorch), 复现论文Image based Static Facial Expression Recognition with Multiple Deep Network Learning , 利用FER2013数据集训练模型.3月1日3月31日 使用之前在FER2013数据集得到的模型, 在Recola数据集上进行Fine-Tuning. 复现论文End-to-end multimodal emotion recognition using deep neural networks4月1日4月15日 基于网络图片扩充数据集4月16日4月30日 使用扩展后的实验数据集对改进的方法进行定量评估，并与主流方法进行比较。

5月1日5月20日 数据整理, 论文撰写与答辩

4. 研究创新点

1. 利用FER2013上训练得到的模型作为特征提取器在Recola数据集上进行Fine-Tuning, 并与声音信号结合, 对于解决该类问题更具有针对性.2. 基于网络图片扩充数据集, 为模型训练提供更多的数据来源3. 基于GAN来生成人脸扩充数据集