安防视频监控系统H.264与H.265图像编码压缩标准

一、H.264图像编码压缩标准

H.264在1997年ITU的视频编码专家组（Video Coding Experts Group，VCEG）提出时被称为H.26L。2001年12月，ITU与ISO在泰国Pattaya成立联合视频专家组（Joint Video Team，JVT）。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳，新的视频压缩编码标准称为H.264（JVT）标准，该标准也被ISO接纳，称为MPEG-4AVC（Advanced Video Coding）标准，即MPEG-4的第10部分。H.264使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，非常适合国内接入网/骨干网带宽相对有限的状况，是视/音频编/解码方面的最新成果。

H.264不仅比H.263和MPEG-4节约了50%的码率，而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。

H.264标准可分为三档：基本档次（简单版本、应用面广），主要档次（采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等），扩展档次（可用于各种网络的视频流传输）。

（1）H.264视频压缩系统。H.264标准视频压缩系统由视频编码层（Video Coding Layer，VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、炳编码等压缩单元，可以传输按当前的网络情况调整的编码参数。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志，存储标志用于指示当前数据不属于被参考的帧，类型标志用于指示图像数据的类型。

（2）H.264的技术特色。

①帧内预测编码。在以前的H.26X系列和MPEG-x系列标准中，都是采用的帧间预测编码的方式。在H.264中，还用帧内预测编码。对于每个4x4块（除了边缘块特别处置以外），每个像素都可用17个最接近的先前已编码的像素的不同加权和（有的权值可为0）来预测，即此像素所在块的左上角的17个像素。然后对预测值与实际值的差值进行编码，这相对于直接对该帧编码而言，可大大减小码率。显然，这种帧内预测不是在时间上，而是在空间域上进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的压缩。

H.264提供6种模式进行4x4像素宏块预测，包括1种直流预测和5种方向预测。对于图像中含有很少空间信息的平坦区，H.264也支持16x16的帧内编码。

②帧间预测编码。是利用连续帧中的时间冗余来进行运动估计和补偿的。H.264的运动补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的功能，除了支持P帧、B帧外，还引入一种新的SP帧，即流间传送帧。码流中包含SP帧后，能在有类似内容但有不同码率的码流之间快速切换，同时支持快速回放和随机接入。在帧间编码时，可选5个不同的参考帧，提供了更好的纠错性能，这样可以改善视频图像质量。

③分层设计。H.264的算法在概念上可以分为两层：视频编码层（VCL）负责高效的视频内容表示，网络提取层（NAL）负责以网络所要求的恰当的方式对数据进行打包和传送。VCL层包括基于块的运动补偿混合编码和一些新特性。NAL负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利用或序列结束信号等。在VCL和NAL之间定义了一个基于分组方式的接口，打包和相应的信令属于NAL的一部分。这样，高编码效率和网络友好性的任务分别由VCL和NAL来完成。

④高精度、多模式运动估计。H.264支持1/4或1/8像素精度的运动矢量。在1/4像素精度时可使用6抽头滤波器来减少高频噪声，对于1/8像素精度的运动矢量，可使用更为复杂的8抽头的滤波器。在进行运动估计时，编码器还可选择“增强”内插滤波器来提高预测的效果。在H.264中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓的多帧参考技术。例如，2帧或3帧的刚刚编码好的参考帧，编码器将选择对每个目标宏块能给出更好的预测帧，并为每一宏块指示是哪一帧被用于预测。对每一个16x16像素宏块的运动补偿可以采用不同的大小和形状，H.264支持7种模式。小块模式的运动补偿为运动详细信息的处理提高了性能，减少了方块效应，提高了图像的质量。H.264还定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直块边缘，大大减少了方块效应。

⑤4x4块的整数变换。H.264与先前的标准相似，对残差采用基于块的变换编码，但变换是整数操作而不是实数运算，其过程和DCT变换类似。这种方法的优点在于：在编码器和解码器中允许精度相同的变换和反变换，便于使用简单的定点运算方式。这里没有“反变换误差”，变换的单位是4x4块，而不是以往常用的8'8块。由于用于变换块的尺寸缩小，运动物体的划分更精确，不但变换计算量比较小，而且在运动物体边缘处的衔接误差也大为减小。为了使小尺寸块的变换方式对图像中较大面积的平滑区域不产生块之间的灰度差异，可对帧内宏块亮度数据的16个4x4块的DC系数（每个小块一个，共16个）进行第二次4x4块的变换，对色度数据的4个4x4块的DC系数（每个小块一个，共4个）进行2x2块的变换。整数DCT变换具有减少运算量和复杂度，有利于向定点DSP移植的优点。

⑥量化H.264中可选32种不同的量化步长，这与H.263中有31个量化步长很相似，但是在H.264中，为了提高码率控制的能力，量化步长的变化的幅度控制在12.5%左右，而不是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少计算的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。

在H.264中，变换系数的读出方式也有两种：之字形（ZigZag）扫描和双扫描。大多数情况下使用简单的之字形扫描；双扫描仅用于使用较小量化级的块内，有助于提高编码效率。

⑦熵编码。视频编码处理的最后一步就是熵编码，在H.264中采用了两种不同的熵编码方法：通用可变长编码（UniversalVLC，UVLC）和基于文本的自适应二进制算术编码（Context-Adaptive Binary Arithmetic Coding，CABAC）。UVLC使用一个长度无限的码字集，设计结构非常有规则，用相同的码表可以对不同的对象进行编码。这种方法很容易产生一个码字，而解码器也很容易地识别码字的前綴，UVLC在发生比特错误时能快速获得重同步。UVLC的优点是简单，但单一的码表是从概率统计分布模型得出的，没有考虑编码符号间的相关性，在中高码率时效果不是很好。因此，还提供了可选的CABAC方法，其编码性能比UVLC稍好，但计算复杂度也高。算术编码使编码和解码两边都能使用所有句法元素（变换系数、运动矢量）的概率模型。为了提高算术编码的效率，通过内容建模的过程，使基本概率模型能适应随视频帧而改变的统计特性。内容建模提供了编码符号的条件概率估计，利用合适的内容模型，存在于符号间的相关性可以通过选择目前要编码符号邻近的已编码符号的相应概率模型来去除，不同的句法元素通常保持不同的模型。

⑧面向IP和无线环境。H.264中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发环境中传输，如移动信道或IP信道中传输的健壮性。为了抵御传输差错，任视频流中的时间同步可以通过采用帧内图像刷新来完成，空间同步由条结构编码（Slice Structured Coding）来支持。同时为了便于误码以后的再同步，在一幅图像的视频数据中还提供了一定的重同步点。此外，帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码效率，还可以考虑传输信道的特性。除了利用量化步长的改变来适应信道码率外，还常利用数据分割的方法来应对信道码率的变化。即是在编码器中生成具有不同优先级的视频数据以支持网络中的服务质量QoS。在无线通信的应用中，可以通过改变每一帧的量化精度或空间/时间分辨率来支持无线信道的大比特率变化。

（3）H.264的优点。H.264与MPEGV、H.263++编码性能对比采用了以F6个测试速率：32kbps、10F/s和QCIF、64kbps、15F/s和QCIF、128kbps、15F/s和CIF、256kbps、15F/s和QCIF、512kbps、30F/s和CIF、1024kbps、30F/s和CIF。测试结果标明，H.264具有比MPEG和H.263++更优秀的PSNR性能，其PSNR比MPEG-4平均要高2dB，比H.263++平均要高3dB。

H.264是继MPEG-4之后的新一代数字视频压缩格式，它既保留了以往压缩技术的优点和精华，又具有其他压缩技术无法比拟的许多优点。低码流（Low Bit Rate）：和MPEG-2和MPEG-4ASP等压缩技术相比，在同等图像质量下，采用H，264技术压缩后的数据量只有MPEG-2的1/8，MPEG-4的1/3，可大量节省存储空间及带宽占用。显然，也大大节省用户的下载时间和数据流量收费。

①很高的数据压缩比：在同等的图像质量下，其压缩比是MPEG-4的1.5~2倍。

②高质量的图像：MPEG-4编码技术在3Mbps的带宽下尚达不到标清的图像质量，而H.264编码技术可以在2Mbps带宽下提供要求的图像效果，即能够在较低带宽上提供高质量的图像传输，且又引进全新的环路滤波（In-loop Filtering）技术帮助提高图像质量，因而能提供连续、流畅的高质量图像（DVD质量）及高清图像。

③容错能力强：提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具，有利于对误码和丢包的处理。

④网络适应性强：提供了网络适应层（NetworkAdaptationLayer），使得H.264的文件能容易地在不同网络上传输（如互联网、CDMA，GPRS、WCDMA.CDMA2000等）。

⑤采用了中国专利的新的快速运动估值算法使运算量降低：新的快速运动估值算法UMHexagonS是一种运算量相对于H.264中原有的快速全搜索算法可节约90%以上的新算法，全名是"非对称十字型多层次六边形格点搜索算法”（Unsymmetrical-Cross Muti-Hexagon Search），这是一种整像素运动估值算法。由于它在高码率大运动图像序列编码时，在保持较好地失真性能的条件下，运算量十分低，已被H.264标准正式采纳。

⑥无须使用版权，具有开放的性质，应用目标广泛：H.264的基本系统无须使用版权，具有开放的性质，能很好地适应IP和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传输宽带信息等都具有重要意义。可满足各种不同速率、不同场合的视频应用。因此，H.264被普遍认为是最有前途与影响力的行业标准，有可能被广播、通信和存储媒体（CDDVD）接受成为统一的标准，并最有可能成为宽带交互新媒体的标准。

值得提出注意的是，由于H.264采用了许多新技术，显然均需要大量的运算处理资源，这对视频编解码处理平台，尤其是CPU及多媒体芯片，也提出了更高的速度要求。

二、H.265图像编码压缩标准

随着网络技术和终端处理能力的不断提高，人们对目前广泛使用的MPEG-2，MPEG-4、H.264等提出了新的要求，希望能够提供高清、3D、移动无线，以满足新的家庭影院、远程监控、数字广播、移动流媒体、便携摄像、医学成像等核心领域的应用。此外，H.264/AVC发布后，经过几年的积累（新型运动补偿、变换、插值和炳编码等技术的发展），也具备了推出新一代视频编码标准的技术基础。

新一代视频压缩标准的核心目标是在H.264/AVC high profile的基础上，压缩效率提高了1倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。

H.265是ITU-TVCEG继H.264之后所制定的新的视频编码标准，标准全称为高效视频编码（High Efficiency Video Coding，HEVC）/H.265，相较于之前的H.264标准有了相当大的改善，中国华为公司拥有最多的核心专利，是该标准的主导者。

H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。H.265是实现超高清的关键性技术。主要研究内容包括提高压缩效率、提高错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度，旨在解决有限带宽下传输更高质量的网络高清视频，仅需原先的一半带宽即可播放相同质量的视频。H.265标准也同时支持4K（4096x2160）和8K（8192x4320）超高清视频。可以说，H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步。

当前视频监控领域主流的编解码标准是H.264和MPEG-4，并围绕这这些编码标准构建了成熟的产业链环境。但是，随着数字视频应用产业链的快速发展，在数字视频应用产业链的快速发展中，面对视频应用不断向高清晰度、高帧率、高压缩率方向发展的趋势，当前主流的视频压缩标准协议H.264（AVC）的局限性不断凸显。

（1）H.264编码的局限性。

①宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。

②由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4x4或8x8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。

③由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测，以及编码的方法压缩率将逐渐降低。

④H.264的一些关键算法，例如采用CAVLC和CABAC两种基于上下文的矯编码方法、Deblock滤波等都要求串行编码，并行度比较低。针对GPU、DSP、FPGA、ASIC等并行化程度非常高的芯片，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。

（2）HEVC（H.265）的技术亮点。作为新一代视频编码标准，HEVC（H.265）仍然属于预测加变换的混合编码框架。然而，相对于H.264，H.265在很多方面有了革命性的变化。HEVC（H.265）的技术亮点如下。

①灵活的编码结构。在H.265中，将宏块的大小从H.264的16x16扩展到了64x64，以便于高分辨率视频的压缩。同时，采用了更加灵活的编码结构来提高编码效率，包括编码单元（Coding Unit，CU）、预测单元（Predict Unit，PU）和变换单元（Transform Unit，TU），如图1所示。

图1 编码单元（CU）、预测单元（PU）、变换单元（TU）

其中编码单元类似于H.264/AVC中的宏块的概念，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。

②灵活的块结构RQT（Residual Quad-tree Transform）。RQT是一种自适应的变换技术，这种思想是对H.264/AVC中ABT（Adaptive Block-size Transform）技术的延伸和扩展。对于帧间编码来说，它允许变换块的大小根据运动补偿块的大小进行自适应的调整；对于帧内编码来说，它允许变换块的大小根据帧内预测残差的特性进行自适应的调整。大块的变换相对于小块的变换，一方面能够提供更好的能量集中效果，并能在量化后保存更多的图像细节，但是另-方面在量化后却会带来更多的振铃效应。因此，根据当前块信号的特性，自适应的选择变换块大小，如图2所示。

图2 灵活的块结构示意图

可以得到能量集中、细节保留程度，以及图像的振铃效应三者最优的折中。采样点自适应偏移（Sample Adaptive Offset，SAO）。SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。采用SAO后，平均可以减少2%~6%的码流，而编码器和解码器的性能消耗仅仅增加了约2%。

③自适应环路滤波（Adaptive Loop Filter，ALF）。ALF在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差（MSE）最小。ALF的系数是在帧级计算和传输的，可以整帧应用ALF，也可以对于基于块或基于量化树（Quadtree）的部分区域进行ALF，如果是基于部分区域的ALF，还必须传递指示区域信息的附加信息。

④并行化设计。当前芯片架构已经从单核性能逐渐往多核并行方向发展，为了适应并行化程度非常高的芯片实现，HEVC/H265引入了很多并行运算的优化思路，主要包括以下几个方面。

Tile：如图3所示，用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个Tile，每一个Tile包含整数个LCU（Largest Coding Unit），Tile之间可以互相独立，以此实现并行处理。

图3 Tile划分示意图

Entropy Slice：如图4所示，Entropy Slice允许在一个Slice内部再切分成多个Entropy Slices，每个Entropy Slice可以独立编码和解码，从而提高了编/解码器的并行处理能力。

图4 每一个Slice可以划分为多个Entropy Slice

WPP（Wavefront Parallel Processing）：上一行的第二个LCU处理完毕，即对当前行的第-个LCU的炳编码（CABAC）概率状态参数进行初始化，如图5所示。

图5 WPP示意图

因此，只需要上一行的第二个LCU编/解码完毕，即可以开始当前行的编/解码，以此提高编/解码器的并行处理能力。

⑥H.264中已有特性的改进。相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，如表1所示。

（3）H.265应用价值。和H.264相比，H.265应用价值在于以下几个方面。

①高压缩、编码效率：H.265先进画面预测模式与精准编码架构，将压缩比提高至H.264的2倍，达到400:1水准，可缩短50%视频压缩时间。以编码单位为例，H.264中每个宏块（Marco Block，MB）大小都是固定的16x16像素，而H.265编码单位町以动态选择从最小8x8到最大64x64像素。同时，H.265的帧内预测模式支持33种方向（H.264只支持8种），并且提供了更好的运动补偿处理和矢量预测方法。

②存储的便捷：随着用户对监控视频质量的要求越来越高，高清视频在安防监控中的应用越来越普及，由此带来了存储成本与空间的急剧上升。与现在正在使用的H.264编码技术相比，H.265的高压缩率特性能够节省-半左右的存储空间，从而显著降低视频的存储成本。随着半导体技术的发展，解决了H.265计算复杂度的瓶颈后，在超高清监控应用方面，就像H.264替换之前的MPEG-2一样，H.265必然会替换现在的H.264技术。

此外，H.265在后端，可带来更小的存储容量。分辨率从CIF→Dl→720p→1080p，最头疼的就是数据量增加带来的存储问题。但是，如果采用H.265来降低码流，一个本来只能容纳1000个摄像机的存储池，现在可以装2000个，甚至更多，而不用增加存储的成本。反之，如果摄像机清晰度、视场角是以前的几倍，而存储不变，这就为更高清提供了一种很好的解决方案。试想，用4K摄像机捕捉视频，一个摄像机能覆盖的区域可能是以前1080p的4倍，并且为更多的智能化分析提供了更好的保障。

③信息共享效率提升：在大连网的趋势下，跨区域跨部门的信息共享变得尤为重要。当前各个业务部门的信息都有各自的情报来源，于是也就出现了在一个路口安装多台摄像机的情况，如此势必造成庞大的冗余数据，信息共享无从谈起。H.265不仅减轻了视频情报的负重，更提升了视频情报的质量。另外，由H.265带来的更高清的好处，一个摄像机町照顾多项业务的应用需求，提升监控质量的同时，还能减少布点（相对传统来说是覆盖了更多区域），可以让系统包含更丰富的视频数据。如此一来，H.265很好地使各部门的情报去粗取精，减轻网络负担，有效提升信息共享的效率。

④高分辨率：H.265标准支持4K（4096x2160）和8K（8192x4320）超高清视频。因此，H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步、无论是运营成本还是用户体验都有很大提升。

用户价值：相比H.264编码算法，H.265编码算法可以在维持画质基本不变的条件下，让数据传输带宽减少至H.264的一半。另一方面在相同体积、码率的情况下，H.265比H.264画质细腻度提升一倍。

由于HEVC（H.265）标准在压缩效率、并行处理能力，以及网络适应性方面的极大改进，它的发展和应用必将把视频编/解码理论和应用推向一个新的高度。