生成对抗网络是14年Goodfellow Ian在论文[1]中提出来的。生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型，可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。
GAN受博弈论中的零和博弈启发，将生成问题视作判别器和生成器这两个网络的对抗和博弈：生成器从给定噪声中（一般是指均匀分布或者正态分布）产生合成数据，判别器分辨生成器的的输出和真实数据。前者试图产生更接近真实的数据，相应地，后者试图更完美地分辨真实数据与生成数据。由此，两个网络在对抗中进步，在进步后继续对抗，由生成式网络得的数据也就越来越完美，逼近真实数据，从而可以生成想要得到的数据（图片、序列、视频等）。
包含了两个“对抗”的模型：生成模型（G）用于捕捉数据分布，判别模型（D）用于估计一个样本来自与真实数据而非生成样本的概率。为了学习在真实数据集x上的生成分布Pg，生成模型G构建一个从先验分布 Pz (z)到数据空间的映射函数 G(z; theta;g )。 判别模型D的输入是真实图像或者生成图像，D(x; theta;d )输出一个标量，表示输入样本来自训练样本（而非生成样本）的概率。
模型G和D同时训练：固定判别模型D，调整G的参数使得 log(1 minus; D(G(z))的期望最小化；固定生成模型G，调整D的参数使得logD(X) log(1 minus; D(G(z)))的期望最大化。这个优化过程可以归结为一个“二元极小极大博弈（minimax two-player game）”问题:
条件生成式对抗网络（CGAN）是对原始GAN的一个扩展，生成器和判别器都增加额外信息y为条件, y可以使任意信息,例如类别信息,或者其他模态的数据。通过将额外信息y输送给判别模型和生成模型,作为输入层的一部分,从而实现条件GAN。在生成模型中,先验输入噪声p(z)和条件信息y联合组成了联合隐层表征。对抗训练框架在隐层表征的组成方式方面相当地灵活。类似地，条件GAN的目标函数是带有条件概率的二人极小极大值博弈（two-player minimax game ）：
在[1]中， Goodfellow 的这篇paper发布于2014年，提出了一种新的模型——生成对抗模型。论文通过一系列的数学推导，证明了生成式对抗网络的可行性，并通过实验验证了生成式对抗网络的强大性能，通过阅读这篇经典论文，我更深刻地理解了生成式对抗网络的原理及重要意义。
在[2]中，描述了一种方法，该方法使用两个或三个消失点，不需要来自正交线的正交组，以及少量的点对应来估计地平面相机的内在和外在参数。 最后介绍了一些建筑物的实验结果。这是一篇比较老的论文，通过学习它，帮助我理解了不少有关视图合成的基础知识。
在[3]中，介绍了深度学习参数初始化问题中耳熟能详的参数初始化方法——Xavier初始化，首先通过实验分析标准初始化方法的问题；然后根据两个目标——状态方差和梯度方差保持不变推导出参数的特点，给出Xavier初始化方法的具体形式；最后通过实验验证Xavier初始化的效果。在[3]中研究了解决分类问题的5层的全连接神经网络，每个隐层的神经元个数为1000，并且探讨了三种激活函数：sigmoid、tanh、softsign。
[4]是2015年有关深度学习的一篇非常经典的论文，非常值得学习，它提出的批规范化（Batch normalization）是深度学习中经常见到的一种训练方法，指在采用梯度下降法训练DNN时，对网络层中每个mini-batch的数据进行归一化，使其均值变为0，方差变为1，其主要作用是缓解DNN训练中的梯度消失/爆炸现象，加快模型的训练速度。这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，其重要之处不言而喻。BN算法（Batch Normalization），解决了在训练过程中，中间层数据分布发生改变的情况，大大提升了网络的训练速度。算法本质原理是：在网络的每一层输入的时候，又插入了一个归一化层，也就是先做一个归一化处理，然后再进入网络的下一层。它的特别之处在于，它是一个可学习、有参数的网络层。通过BN算法，不仅仅极大提升了训练速度，收敛过程大大加快，还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果，另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。总而言之，经过并不复杂的变换，带来了很多好处，这也是为何现在BN这么快流行起来的原因。
