英语原文共 130 页，剩余内容已隐藏，支付完成后下载完整资料

跨层优化无线视频监控

Yun Ye 作

一篇学术论文用来介绍给内布拉斯加州大学研究生院系

部分必要条件实现是为了哲学博士学位

主修：工程学

受Song Ci教授的帮助监督

内布拉斯加州 林肯市

2013年7月

跨层优化无线视频监控

Yun Ye，哲学博士

内布拉斯加州大学，2013

导师：Song Ci

一个无线视频监控系统包括三个主要模块，图像捕获和预处理，图像压缩及无线传感网络(WSNs)传输和在接收终端的图像分析。不同模块的协调对于端对端的图像质量是重要的，尤其在通信资源受约束时。跨层控制被证明是一个对于最优系统配置的有效措施。在这篇学术论文中，我们解决了在无线视频监控系统中跨层优化实现的问题。

第三章 单平行传输摄像头的视频监控

3.1 介绍

配有灵敏摄影机无线视频传感网络正在多方面的监控应用中获得日益提升的普及度，比如智能运输，环境监控，居家安全，工地监控和公共场所安全。在配有灵敏摄影机的视频监控的当前工作重点主要集中在自动化摄影控制程序。为了延伸这些程序应用到一个无线监控系统，动态信道状态和数据传输延迟约束需要在数据压缩和传输过程中考虑到，也为了符合在线应用的可视效果和实时性需求的要求。

在基于块的视频压缩中，编码方式和相应的量化参数(QP)的选择对于率失真控制是一个重要的过程当在预定义编码方式模结构下的量化参数的选择已被广泛研究，联合模式的选择能够加强对于它内在适应性的编码结果。在内外模式选择过程是作为一道用动态规划法解决的拉格朗日开销最小化问题来确切阐述过了。作者在之前已经进一步探讨过多分辨率编码的自适应的内外及下采样模式对于每个宏模块(MB)选择的效率。曾有报告说，在低数据速率约束下可获得更好的性能，因为较小的量化参数可选作下采样宏模块。这些信源编码仅用于调查量化感应失真。在无线网络的打包视频传输中，包丢失也是一个被接收器观察到数据失真的主要原因。在端对端失真评估过程中的混合包丢失数据已经证实是一种提高编码效率的高效措施。该编码方法在进一步考虑物理层调制和编码机制(MCS)下来描述已估计动态丢包率(PLR)在一个随时间变化的瑞利衰落信道。而且，所讨论过的视频流系统中使能够为物理层MCS和通过跨层控制的链路层路径选择能够自适应配置。为了加强整体系统性能，我们为视频编码参数和调制编码机制(MCS) 进行了灵活的配置。内，外，下调制和跳过（丢包）编码模式在压缩过程中是可用的，并且MCS是由建立在相应的PLR和数据率的失真评估结果而决定的。

错误隐藏在视频品质增强是另一个重要因素。在整个基础编解码器中，交错是一种高效的可以防止在一个承载了相互强时空关联的数据的数据包连续宏指令模块(MBs)丢失的弹性容错技术。所推荐的交错机制能够将宏指令模块归类为指定包且包括进可控分解深度。对于一个丢失的宏指令而言，分选后先前框架的补丁可与它的边界像素相比照。PTU的摄像机运动的性质是利用补丁搜索过程进行有效的实施。最后，下抽样数据用全变量方式恢复到原分辨率。

无线视频监控系统的结构如图3.1所示。

发射机负责图像捕获和数据传输的压缩。PTU摄像头被来自遥控装置(RCU)和局部跟踪结果的命令来控制。所捕获的图像被本地追踪系统记录并发送至数据处理中心。数据中心收集信道状态信息(CSI)和处理图像压缩过程和系统配置。摄像头参量，比如焦距、摄像头中心和平移/倾斜角度，伴随着图像包传输到遥控装置。遥控装置在收到的数据实现错误隐藏，还可以给发射机提供必要的反馈，包括包丢失信息和摄像头的变向命令。

在下面的部分，我们将介绍在监控系统里每一部分的细节功能，包括在RCU中PTU摄像机移动的特性及对图像捕获的物体追踪算法，数据压缩和传送的跨层优化过程和对于图像恢复的错误隐藏策略。

3.2 跨层控制

基于无线网络的图像通信面临着许多挑战，包括功率和带宽限制，随机时变信道衰退效应，网络不均匀小和服务质量要求。来自不同网络层的信息对于为了获得更好系统性能而成为数据压缩编码一部分是必要的。所以随着在信源编码方式的发展，新兴的移动多媒体的应用软件中可看到对于跨层优化日益增加的依赖性。

在视频压缩，编码模式和相应的量化参数中的选择对于率失真控制是一个重要的过程，当在预定义GOP结构下的量化参数选择已经被广泛研究，兼有的模式选择可以因它本身内有的适应性而增强编码结果。传统的模式选择方式主要考虑了在应用层获得的RD结果，即给定速率和缓冲约束。量化失真被最优编码决定来最小化。在这一研究领域已经开展了过多的研究工作。在模式选择过程中，通过动态规划制定一个拉格朗日成本最小化问题就可以解决。其它的信息，比如本地边界或者块边界的不同也被用来加快编码决策过程。作者通过在对每个宏指令模块内外和下抽样模式适应性选择下，进一步探究了多分辨率编码的效率。并且公布了可在低数据率下获得更高的性能，因为更小的量化参数(QPs)可以用下采样MBs来选择。

这些信号源编码方式仅仅考虑量化感应失真。在打包无线网络视频传输中，数据包丢失也是在接收机一侧的失真的主要原因。“递归最优每像素估计”方式是为MB编码模式策略而提出的。预期的端对端的失真借助确定的丢包率(PLR)来估计。这种统计模式论证了一种根据信号源编码和信道失真来调整编码策略的新方式。然而在率失真(RD)结果的动态信道条件的影响不考虑。另一种被提出的联合信源信道编码(JSCC)方式采取随机内刷新。信源编码失真作为内宏模块刷新率功能是典型的。信道失真用一个类似的递归的方式进行了计算。在这种方式，信道编码率和前端错误更正已经考虑进去了。然而一些限制因素需要事先专门为每个视频确定，而且时变信道仍被忽略。

为了解决信道衰退问题，基于对象的视频编码方法计算了瑞利衰落信道中的实际信道容量。内外模式编码的失真被分别估计导致丢包率(PLR)。有判别力的编码决策取决于在延迟和传输功率限制下的状态和结构数据。在之前的工作重点考虑了物理层MCS并自适应地估计了在在回旋编码和BPSK调制基础上的瑞利衰弱信道的PLR。

更灵活的MCS配置应用通过跨层渠道信息反馈设计。然而这些方法不提供

在线编码模式选择的规范。详尽的搜索是耗时的，动态规划和随机帧内刷新预定编码连续包/框架的决定，并可能不适合在线渠道信息反馈。因此，我们建议在编码决定中混合进跨层设计。这个模式选择过程，构想了一个延迟约束的失真最小化问题。最优决策进行了每个包的自适应MCS配置的跨层控制器。在我们的实验中，内部或跨模式选择适当的MCS在每个包的MBs，并且下采样是被考虑为在低数据传输速率情况下的帧间编码的备选。

3.2.1 失真估计

为了确定最佳的编码参数，数据失真要根据每个编码模式和它可选的QPS来估计。四种编码模式，帧内，帧间，下采样和跳跃模式，可以适应不同的信道条件。预期的数据包的端到端失真既包含源编码失真的Ds，和信道失真Dc。

Ds主要是由QP决定。对于下采样编码模式，也考虑了相应的上抽样方法。数据包丢失引起的Dc用一个递归的方式，根据先前的数据包丢失条件来估计。具体来说，一个像素i有一个值在第n帧内编码分组，给出的PLR P、D之间的距离比例和隐藏的价值来自在以前的框架一个像素j：

在帧间编码的数据包中，估计的信道失真的像素是相关的运动预测的像素在以前的帧中的像素，和所造成的失真所造成的隐藏像素的像素（不一定是和h相同的）在以前的帧：

在下行采样模式下的分组编码，下采样的数据用帧内编码的方式来压缩。预期的信道在一个类似的帧内编码方式失真估计：

在恶劣的信道条件下，我们认为跳跃编码模式是比应用大的量化步长更可取的选择。当数据包被丢弃时，该失真完全依赖于错误隐藏结果：

在接收端的像素值估计与量化的像素：

递归步骤是取决于数据处理中心根据从RCU以及系统的计算能力接收到的数据包丢失的反馈。如果发射机接收后△帧无损耗反馈，随机丢包的决定将由该框架基于估计的PLR编码器制造。

3.2.2 参数选择

视频序列编码是用三种编码模式：帧内，帧间和向下采样中的一种来编码（在这个过程中两个里有一个下采样率），是为每个帧都分配有一个统一的QP 为所有的MBs。如果随着发生的编码速度超过了3.12所示方程的数据速率限制，跳过模式被应用到来自那个帧中一个或多个数据包，直到速率或者延迟约束被满足。最优编码参数和MCS配置的选择是根据由方程（3.11）到（3.19）推得的失真估计结果。源编码率和失真估计的几种近似方法也可以采用，用来减少计算开销。

3.3 错误隐藏

前一部分讨论的信道失真估计过程与接收机采用的差错掩盖策略有关。在编码之前，交叉存取技术被用来在空间上分散相邻的MBs为不同的数据包。在接收器端，在解码和分选一帧内容后，丢失的MBS与匹配前面的帧的补丁替换，并且下采样的数据恢复到来自视频上采样正常分辨率。

3.3.1 交叉存取

在这次工作中所采用交叉存取过程包括棋盘分解和行分离，正如图3.7所展示的。棋盘分解水平或垂直分离并连接MBS为两组。在一组中的行分离进一步将MBs根据奇数和偶数行分为两子组。这两个步骤可以反复操作一组MBS直到获得所需要的数据长度。这两个步骤的连续实施确保在一组没有MBS直接与原始图像相互连接（水平、垂直或对角）。而且，在i次重复这样的操作后，在2ix2i附近区域没有MBs是在同一组。接收端根据编码交叉存取步骤和包命令信息进行分选。图3.8(b)展示了接收到的有五步交叉存取和四个包丢失的解码帧（帧内编码，Q=28）。原始帧的亮度分量如图3.8(a)所示。

3.3.2边界匹配

对于丢失的MB，其可用的边界像素被用来搜索在先前的帧中的隐藏补丁。如方程（3.4）所解释的，利用连续帧中的对应点的坐标之间的相关性被用来确定搜索区域的中心。一个补丁在搜索区域产生的绝对差值最小的总和来替换丢失的MB，随后再用去块滤波器。图3.8(b)中显示的帧的隐藏效果如图3.8(b)所示。视觉质量用PSNR(db)和SSIM来衡量。

3.5.3 视频上采样

在接收下行采样编码帧时，先用上述描述的边界匹配方法恢复丢失的数据。参考帧在相同的分辨率也被采样。之后，将电视上的采样方法应用于恢复到正常解析的数据。最后，将采样数据与参考帧进行比较，再次使用坐标相关特性进一步改善视觉质量。一个下采样编码帧图3.8(a)中的隐藏效果可以在图3.8(d)观察到，有相同QP，交叉存取和丢包强加。

3.4试验结果

在试验中，介绍了在模型中以一个固定的数据包长度8K字节的丢包视频传输的802.11a WLAN网络的PLR的估计方法。

这里的信号干扰噪声比（SINR）dB。当干扰噪声被忽略时，它是被主要认为SNR。并且不变的参数表示每个用M指示的MCS相关。卷积码作为前向纠错编码，对于可变数据包的大小L，我们采用一个近似的PLR的计算如式（3.21）。被测试的MCSs里的四个被列在表格3.1中。

3.4.1 设置

监控视频捕捉的物理设备包括PTU装置（直接感知D47）和PointGrey摄像机，都连接到一台PC。视频用30 fps记录并格式化为一个640X480 yuv420序列。PTU的摄像机运动是每次更新两帧，记录两个编码器和解码器的错误隐藏失真估计。此次推荐使用的视频编解码器是基于H.264/AVC标准开发的。Y组份是被处理过的。MB的大小是以普通分辨率编码16x16，8x8是下采样编码。可用的QPS包括16，20，28，32，34，36和38。最大迭代步△失真估计设置为两帧。四MCS(m, r)的配置，即阶段MCS1 (6, 2/3)，MCS2 (4, 3/4)，MCS3 (2, 1/2)和MCS4 (1, 1/2)，以及相应的PLR模型是从参考文献选择，如表3.1所示。视频传送的帧延迟约束设置为1/30秒。在传输的过程中，第一帧是全帧内编码且假设是正确接收额外的保护（ARQ或更强的FEC）。在方程的平均信噪比（3.13）设置为20dB，和信道带宽W设置为1MHz，100kHz模拟不同信道条件。

3.4.2 性能

为了测试所提出的监控视频编码和传输方案的效率，固定的MCS编码方法中的三种其他类型被当作性能比较。第一种是传统的帧内帧间编码的方法，使用切片复制错误隐藏（切片MCS）。内外和跳跃模式端对端失真估计过程是被应用。第二种是下采样包括在3.5节中规定的错误隐藏（EC MCS）的编码方法。同样的失真估计过程中也适用。第三种是类似于EC MCS的方法，除了失真估计只考虑压缩引起的固定的数据率下编码失真（SCEC MCS），即利用方程（3.13）。延迟（秒），峰值信噪比（dB）和三种编码方法采用MCS1六十个记录的帧的SSIM性能如图3.9所示。一个更好的信道条件下（W = 1MHz），平均对MCS1, EC MCS1,SCEC MCS1的PSNR和SSIM Slice，并且所提出的方案是20.52/0.77，26.13/0.8

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[150478]，资料为PDF文档或Word文档，PDF文档可免费转换为Word