基于Glow模型的的妆容风格迁移算法研究开题报告

题目：

基于Glow模型的妆容风格迁移算法研究

目的和意义：

在现代社会中，化妆成了一大部分人群生活中重要的一部分。妆容不仅能增加美感遮盖缺陷，更能利用不同的妆容风格凸显不同的气质。但是，在妆容适合度的选择上，人们往往不能快速准确的把握。单单看妆容图片并不能确定是否适合自己，毕竟本身肤色、五官特征等等都会影响现实效果。但如果亲身试验一遍妆容，虽然能够直观的感受一款妆的适合度，却花费的大量时间。消费者在购买化妆品前往往都希望能看到自己面部的效果图，虽然在商场等线下购物点可以通过花时间试妆实现，但在网购等平台却无法实现。因此，通过妆容迁移技术实现精准上妆的效果是目前市场急需的。

本毕业设计旨在设计一种算法实现从参考妆容图片到素颜人脸图片的妆容迁移，从而呈现出精准上妆的效果，为广大女性朋友快速便捷挑选适合自己的化妆品提供方便。

国内外的研究现状分析：

Dong Guo 和Terence Sim在2009年发表的论文“digital face makeup by example”[3]中提供了一种模型实现了从带妆图片到素颜图片的妆容迁移。该模型以一张带妆图片和一张素颜图片作为输入。第一步，用Thin Plate Spline(TPS) 方法将两张面部图片对齐；第二步，将两张图片分为三层： 面部结构层、皮肤细节层和颜色层。其中，先用CIELAB colorspace实现颜色层和亮度层分离。接着再用edge-preserving smoothing方法将亮度层分为面部结构层和皮肤细节层。第三步，将带妆图片的每层分别迁移至素颜图片对应层。最后一步，综合这三层。

Si Liu1, Xinyu Ou1,2,3, Ruihe Qian1,4, Wei Wang1 and Xiaochun Cao[7]在2016年提出一个端到端的深度传输网络，该网络通过寻找数据集中与用户面部特征最相近的妆容图像并实现了自动推荐最合适的妆容并给出从参考妆容图片到未上妆图片的妆容迁移。此网络对粉底、唇妆、眼影都进行识别并用不同方法转移。经过定性和定量的实验结果表明妆容迁移效果比2009年提出的[3]好，也能给出相对满意的推荐妆容。

2017年，Alashkar T, Jiang S, Wang S, et al[6]构造出一个范例规则指导的深度神经网络。该模型有两个假设条件：妆容通过面部特征来选择和范例指导规则由化妆界专业人士制定给出。此网络在接受用户图像的输入后将面部特征识别分类，然后作为输入传送至推荐网络，最后经过范例规则指导后给出推荐并对原图合成上妆。该论文也表明在收集来自四个国家，961名女性专业妆容前后的图片作为训练集训练出的推荐网络能给出很好的推荐效果。

Chang H, Lu J, Yu F, et al. 在论文[4]中给出PairedCycleGan模型以实现对肖像照片的自动上妆。该模型在Zhu提供的CycleGan基础上构建非监督的网络，以两个对称的上妆和卸妆函数为主体，通过设置四个损失函数对图像的面部特征和妆容特征进行保留，从而达到目标。

除了上述提出的妆容迁移网络，论文[5]在2018年给出了基于DOG的算法，达到输入一张图片给出上妆效果的目的。由于上妆效果受肤色、亮度等的影响，该算法能给出较好的上妆后颜色、闪亮度等特征。但是，该模型是建立在一张图只使用一种化妆品的前提上，所以还不能适用于带全妆的图片。不过，关注上妆效果的细节对于精准上妆是有很大优化作用。

Zhang H, Chen W, He H, et al.[8]在2019年发表的论文中给出了DMT（disentangled makeup transfer）模型，相较于之前的单一参考妆容图片的迁移，该模型能实现多风格妆容、混合风格妆容、可调妆容的迁移。一个面部特征编码器，一个妆容编码器和一个能识别真假人脸的鉴别器构成了DMT。注意力机制的应用提升了不同妆容迁移的精准度。

LADN模型由Gu Q, Wang G, Chiu M T, et al.在论文[9]中给出，该模型核心是利用在一个内容风格的分离网络中的多个重叠的局部对抗性鉴别器以实现面部图像之间的局部细节传输，并使用不对称损失函数来处理具有高频细节的戏剧性化妆风格。该方法独特之处是局部对抗鉴别器可以在无监督的情况下，在跨图像风格转换中判断生成的局部图像细节是否与给定参考图像中的相应区域一致。实验结果表明LADN在传统风格和复杂和单调的风格都取得了新成果，高频细节覆盖了跨多个面部特征的大型区域。

Kingma D P, Dhariwal P. 在论文[2]中给出了Glow网络，该网络实在NICE和RealNVP flow模型的基础上开发出的一种新的flow模型。实验证明，Glow极大地提高了标准基准下的对数似然估计；同时，由于它是以对数似然为目标进行优化的生成模型，能有效生成真实图片和调整大图。

Chen H J, Hui K M, Wang S Y, et al. [1]在Glow方法的基础上搭建了妆容迁移模型BeautyGlow，该模型利用了Glow可解码的优势，通过对潜向量的变换实现了对妆容浓淡强度的调整。BeautyGlow模型符合本次毕业设计的目的，因此，将以BeautyGlow为主进行复现和Demo展示。

基本内容与目标：

利用基于Glow的BeautyGlow模型，在自己构建的妆容集上，实现从特定参考妆容图片到素颜图片的按需妆容迁移，最终作出展示Demo。

技术方案及措施：

（1）主要问题及对应解决措施：

问题1：转移妆容细节极具挑战性

措施：将经过Glow模型得到的面部图片的潜向量分为“带妆潜向量”和“不带妆潜向量”

问题2: 三元组数据集（针对同一面部的素颜、参考妆容和带妆效果图）收集效率低

措施：构造多个损失函数

（2）模型细节

·框架（如图）

图1: BeautyGlow 模型

参考妆容图片和用户未上妆图片作为输入，都各自经过Glow网络从图片编码为潜向量。接着，用转移矩阵W来提取面部特征，同时（I-W）提取出妆容特征。将参考妆容的妆容潜向量和用户未上妆图片的面部特征相加得到用户上妆后潜向量。最好，将上妆后潜向量通过Glow解码回图片得到上妆图。

Chen、Hui、Wang在论文[1]中指出，目前还没有很好的训练W的方式，所以现阶段在实验结果下得出设置下部分中一些损失函数的方式来训练。

·损失函数及其设置目的

（3）训练参数设置

Learning rate: 0.001

Batch size: 100

W: 128 × 128

λp = 0.01, λcyc = 0.001, λm = 0.1, λintra = 0.1, λinter = 1000

o 2020年1月11日-2020年1月31日 查看相关国内外文献

o 2020 年 2 月 1 日-2020 年 2 月 28 日 针对性的学习编程语言、图像处理、深度学习方法知识;尝试实现已阅读文献中的方法;完成开题报告

o 2020 年 3 月 1 日-2020 年 3 月 15 日 搜集妆容数据，构建自己的妆容测试数据集;

o 2020 年 3 月 16 日-2020 年 4 月 30 日 设计基于生成对抗网络的妆容迁移算法，并在数据集上进行测试，并设计妆容风格迁移 Demo

[1]. Chen H J, Hui K M, Wang S Y, et al. BeautyGlow: On-Demand Makeup Transfer Framework With Reversible Generative Network[C]

//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 10042-10050.

[2].Kingma D P, Dhariwal P. Glow: Generative flow with invertible 1x1 convolutions[C]//Advances in Neural Information Processing Systems. 2018: 10215-10224.

[3]. Guo D, Sim T. Digital face makeup by example[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2009:73-79.

[4]. Chang H, Lu J, Yu F, et al. Pairedcyclegan: Asymmetric style transfer for applying and removing makeup[C]

//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 40-48.

[5]. Yamagishi K, Yamamoto S, Kato T, et al. Cosmetic Features Extraction by a Single Image Makeup Decomposition[C]

//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018: 1884-1886.

[6]. Alashkar T, Jiang S, Wang S, et al. Examples-rules guided deep neural network for makeup recommendation[C]//Thirty-First AAAI Conference on Artificial Intelligence. 2017.

[7]. Liu S, Ou X, Qian R, et al. Makeup like a superstar: Deep localized makeup transfer network[J]. arXiv preprint arXiv:1604.07102, 2016.

[8]. Zhang H, Chen W, He H, et al. Disentangled makeup transfer with generative adversarial network[J]. arXiv preprint arXiv:1907.01144, 2019.

[9]. Gu Q, Wang G, Chiu M T, et al. LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup[J]. arXiv preprint arXiv:1904.11272, 2019.

[10]. Minjun Li, Haozhi Huang, Lin Ma, Wei Liu, Tong Zhang, and Yugang Jiang. Unsupervised image-to-image translation with stacked cycle-consistent adversarial networks. 2018 European Conference on Computer Vision (ECCV), 2018.

[11]. Tingting Li, Ruihe Qian, Chao Dong, Si Liu, Qiong Yan, Wenwu Zhu, and Liang Lin. Beautygan: Instance-level fa- cial makeup transfer with deep generative adversarial net- work. In 2018 ACM Multimedia Conference on Multimedia Conference (ACMMM), 2018.

[12]. J Zhu, T Park, P Isola, and AA Efros. Unpaired image- to-image translation using cycle-consistent adversarial net- works, 2017

[13]. Laurent Dinh, David Krueger, and Yoshua Bengio. Nice: Non-linear independent components estimation. 2014.

[14]. Laurent Dinh, Jascha Sohl-Dickstein, and Samy Bengio. Density estimation using real nvp. 2017

[15]. Grover, A., Dhar, M., and Ermon, S. (2018). Flow-gan: Combining maximum likelihood and adversarial learning in generative models. In AAAI Conference on Artificial Intelligence.