1. 研究目的与意义
当今社会，由于人们对于工作，生活，娱乐等方面的需求，手机，相机，摄影机，放映机等电子设备慢慢普及，所以每天都会产生大量的图像和视频，人们在拍摄过后还需要从这些数据中提取出有用的信息。由于工作量的庞大以及人工工作的有效时间的制约，想要在大数据时代取得进一步成功无疑是一个巨大的挑战。对图像和视频的分析和处理意味着必须是高效、快速、准确地提取出有效的信息，视频显著性的研究为此问题提供了一条可行之路。
2. 研究内容和预期目标
显著性提取模拟人眼视觉注意机制，能够自动识别人眼对图像或视频的感兴趣区域。根据人类经验，在一段视频中，运动目标和静止目标具有不同的显著性水平。运动目标较静止目标更能激励人眼的视觉注意机制。本毕业设计将借助两维和三维谱残差方法，通过建立层级模型，对视频数据的时空显著性进行研究。
学习图像显著性提取的原理和步骤，熟悉基本的图像和视频处理相关内容，并且熟练使用matlab。
3. 研究的方法与步骤
1.对视频段进行张量建模，利用三维傅里叶变换实现视频数据的张量分解。
此前，cui等人借鉴图像谱残差模型的思想，提出了一种新的视频谱残差模型。具体如下：假设视频段用一个立方体表示，x-y-t分别表示其空间横纵轴及时间轴。
通过沿x轴和y轴对视频段进行分割可以获得两组y-t和x-t时空切片图。对这两组二维图像进行通常的谱残差显著性提取,然后二值化并显著性整合，就完成了其视频显著性模型的建立。经过实验仿真,我们发现上述模型具有如下不足。其时空联合特征是分别沿y-t和x-t方向提取的。这种提取方法首先割裂了空间x-y方向的特征交互,其次两个时空方向y-t和x-t之间也缺少特征交互。这使得空间特征和两个时空特征在处理上是相互独立的,因此在检测效果上显得稀疏单薄, 并且部分小目标无法检测出来。
4. 参考文献
[1] xd hou, lq zhang, saliency detection a spectral residualapproach, cvpr 2007
5. 计划与进度安排
2022.3.1-2022.3.31，查找并阅读相关文献，完成开题工作；
2022.4.1-2022.4.30，研究基于谱残差的视觉显著性提取及其相关理论，完成视频显著性层级模型的建立，并提出相应算法；
