文献综述（或调研报告）：
稀疏表示领域一直以来是研究的热点，诸如小波(Wavelet)变换，离散余弦变换(DCT)等就是能够将图像或信号在分析变换域中进行稀疏表示(sparse representation)的变换。其表示通常是由一个预先确知的字典中若干字典元素(atom)的线性组合来确定的。字典的选取非常重要，相比于小波变换等这些固定的(fixed)变换，采用学习得到的字典可以更好的适应于不同的信号，尽可能降低稀疏表示所产生的误差，也可以使信号在学习得到的变换域中的稀疏性更高。稀疏表示的性质在压缩感知(Compressed Sensing)领域中得到了广泛地应用。
在稀疏表示领域中，有众多有效的算法被提出。这些算法可以被主要分类为两种模型，第一种模型被称为综合字典学习。综合字典模型中认为，一个信号可以由一个字典中的若干个字母(列)的线性组合来表示，写成表达式即为：并且满足,其中范数计算的是中的非零元素。但是在实际中，信号的模型是偏离这一个表达式的。所以，信号可以被表示成。而就是信号域中普遍存在的误差或者噪声。若字典的矩阵大小满足,则称为基。若,则被称为过完备字典。
Tropp et.al [1]研究了综合字典学习下的稀疏表示问题，并将上文中对的表示问题抽离总结成一个稀疏编码问题。已知信号和字典，稀疏编码问题为：
这里的代表的是期望的稀疏度。尽管直接求解这个问题是NP-hard的，但是已经有一系列的算法被提出来求得这个优化问题的解。从数据中学习得到一个字典是一种用的比较多的算法。其中，Michael Elad et.al [9][15] 所提出的K-SVD算法是效率较高且经典的算法。在K-SVD算法中，已知,的每列代表的是训练的信号，那么从信号集中训练得到一个字典的问题可以被写为如下的最优化问题：
这里，每列信号是中满足最大稀疏度。即被称为对应的稀疏表示，也称为对应于信号Y列的稀疏编码。同时，这里的代表的是Frobenius范数的平方。学习得到的字典D中的每一列需要被标准化至单位长度以避免缩放模糊(scaling ambiguity)。为了解决求解这一问题是NP-hard，Michael Elad et.al等人普遍采用了交替优化的策略。即在求解字典D和求解稀疏表示X这两个子优化过程之间来回跳跃进行。在求解字典D的过程中，默认X是保持上一次更新值不变的。而在稀疏编码的过程中，字典D又是保持不变的。K-SVD采用的SVD分解的应用——低阶近似(low rank approximation)来给最后的字典列数更新赋值。通过只选取最大的奇异值，对应地取左基向量矩阵的第一列和右基向量矩阵的第一行。
然而因为这个优化问题是非凸的，所以K-SVD等算法可能会陷入局部最小(local minimum)或者甚至鞍点(saddle point)的陷阱。同时，求解稀疏编码使用的是追踪算法(pursuit algorithm)而不是一个闭式(closed form)的解析解(Analytical solution)。全局的收敛证明也并没有被给出，这些都是综合字典学习的缺点。
另一种稀疏表示模型被称为分析字典模型(analysis dictionary model)。其算法思路是：已知一个信号,和一个稀疏算子。作用得到的是稀疏的。也被称为分析稀疏字典因为它对信号分析后得到了一个稀疏的结果。基于这一个分析字典模型，Rubinstein, Michael Elad et.al [12][14] 又提出了非常经典的分析K-SVD(Analysis K-SVD)。这个算法中，中的零(位置、数量)定义了信号所属的子空间，记为。这些零的总数被称为共稀疏度。已知了信号被噪声污染，则记真实信号为,噪声信号为，则满足：，且是稀疏的。在给定了分析字典后，恢复信号的模型就可以记为：
其中，代表的是允许的最小共稀疏度。这个问题也被称为分析稀疏编码问题。单纯地求解这个最小值也是NP-hard问题，但是Zoran [16][17]和Elad等人都针对这一严格优化问题提出了自己的逼近算法。如果分析字典是方阵且非奇异，那么很自然的可以得到。此时分析字典学习就和综合字典学习等价，有：成立。在分析K-SVD这一算法中，已知，则有：
的每列有着最小的共稀疏度。分析字典的的每一行也通常被限制单位化。分析K-SVD算法对这一优化问题采取了与综合字典类似的交替优化方法。即：首先固定分析字典不变，采取追踪(pursuit)算法求得如下价值函数的值：
