面向移动视频业务的设备间直接通信的理论与关键技术研究开题报告

1. 研究目的与意义（文献综述）

1、目的及意义（含国内外的研究现状分析）

1.1 研究目的及意义

2. 研究的基本内容与方案

2、研究（设计）的基本内容、目标、拟采用的技术方案及措施

2.1设计的基本内容及目标

本设计主要内容是基于python平台和深度学习理论，利用tensorflow和matlab平台，通过Brisque无参考视频评价方法，提取帧特征，设计一套可以检测压缩视频局部质量最优帧的程序系统，并设计原理流程图并完成相关软件程序编写和调试。精确定位局部质量最优帧位置能使以深度学习为基础的提高设备解码端压缩视频质量的新型方法对局部质量最劣帧的质量加强效果增强，进而有效提高移动视频传输解码端的压缩视频质量，利于面向移动视频业务的设备间通信理论的拓展延伸。

具体研究目标如下：

（1）结合移动视频传输中的压缩视频实际功能需求，了解压缩视频组成结构和原理，深入分析视频质量增强的需求分析。

（2）设计一套基于深度学习的设备解码端压缩视频局部质量最优帧检测器，完成系统结构设计，准确定位局部质量最优帧位置，利于有效提高移动视频传输解码端的压缩视频质量和面向移动视频业务的设备间通信理论的拓展。

（3）基于python和matlab语言，利用tensorflow，完成系统程序编写与调试。

2.2设计拟采用的技术方案

此系统采用python和matlab进行编写，整体系统设计思路如图1所示，首先进行局部质量最优帧检测，即定位局部帧中质量分数为极大值的帧，通过压缩编码时的QP(Quantification Parameters)量化参数的变化，预测局部质量最优帧标志作为对比，利用BiLSTM（Bi-directionalLong Short-TermMemory）读取时空关系的特性进一步准确定位局部质量最优帧的位置。

图1 压缩视频局部质量最优帧检测系统结构框图

2.2.1压缩视频组成结构和质量增强需求分析

视频压缩是视频传输的重要一步，以去除以下冗余信息：

空间冗余：图像相邻像素之间有较强的相关性

时间冗余：视频序列的相邻图像之间内容相似

编码冗余：不同像素值出现的概率不同

视觉冗余：人的视觉系统对某些细节不敏感

知识冗余：规律性的结构可由先验知识和背景知识得到

而现代数据压缩技术，如H.264/AVC，为有损压缩技术，压缩冗余信息的同时，会带来压缩伪像，使视频压缩质量下降严重，如图2所示，压缩视频需要进行进一步加强。在前人的工作中，采用深双域卷积网络、存储网络和残差学习网络对压缩视频质量进行加强，但以上工作均是单帧质量增强方法，并未利用压缩视频帧质量的波动性，如图3所示。视频帧质量在整个视频帧序列上波动，波峰即局部质量最优帧，波谷即局部质量最劣帧。利用局部质量最优帧加强局部质量最劣帧的方法利用帧的相关性，相较于仅利用单帧的视频质量增强方法，能获取更多局部质量最优帧的图像信息，增强帧质量，在视频质量提高上有所突破。基于此原理，我们设计一个检测局部质量最优帧的程序系统，有利于视频增强工作的发展和面向视频业务通信的理论延伸。

图2 原视频（左）与压缩视频（右）

图3 压缩视频的帧质量psnr曲线图

2.2.2压缩视频局部质量最优帧检测系统设计

Quantizer Parameter，量化参数，反映了空间细节压缩情况。随QP值减小，量化越精细，图像质量越高，产生的码流变长，QP值增大，则丢失部分细节，码率降低，图像失真加强且质量下降。在压缩视频中，使用Hm16.5，HEVC低延迟压缩方式对原始进行压缩处理，处理后利用Elecard HEVC analyzer对压缩视频解码分析，获取QP参数。通过QP参数的大小，在局部QP参数最大值标记为局部质量最劣帧，局部QP参数最小值标记为局部质量最优帧，预测局部质量最劣帧与最优帧位置。同时使用峰值信噪比PSNR（Peak Signal to Noise Ratio）作为有参考视频质量评价方法，PSNR是最普遍，最广泛使用的评鉴画质的客观量测法，通过峰值信噪比准确测量压缩视频每一帧的质量优劣，定位精确的局部质量最优帧位置，如图3所示。在压缩视频中，下一帧内容为上一帧内容的小范围空间运动形成，前后帧具有前后信息相关性。BiLSTM，如图4所示，由前向LSTM与后向LSTM组合而成，能有效捕捉双向的语义依赖，对应了前帧与后帧之间的相关性，根据以上原理，利用BiLSTM获取帧之间的前后信息，进一步准确定位最优帧位置。通过Brisque无参考视频质量评价方法得到视频帧的特点，基于BiLSTM和深度学习原理，利用python语言编程精确定位局部质量最优帧位置。如图所示4，输入视频帧特征，并设计其中单元的参数和超参数，对模型先训练后测验，获取局部质量最优帧标志0或1，确定局部质量最优帧的位置。

图4 双向循环神经网络

3. 研究计划与安排

3、进度安排

第一周 查找学术期刊，著作等相关资料。

第二周 阅读相关文献、整理思路，撰写开题报告。

4. 参考文献（12篇以上）

4、参考文献

[1]foi a, katkovnik v, egiazarian k. pointwise shape-adaptive dct for high-qualitydenoising and deblocking of grayscale and color images[j]. ieee transactions onimage processing, 2007, 16(5): 1395-1411.

[2]jancsary j, nowozin s, rother c. loss-specific training of non-parametric imagerestoration models: a new state of the art[c]//european conference on computervision. springer, berlin, heidelberg, 2012: 112-125.