showeeks
commented
3 years ago 自H.261 [14]以来的所有ITU-T和ISO/IEC视频编码标准都遵循基于块的混合视频编码方法，正如上面已经简要讨论过的和图3.1所示。不同代视频编码标准之间的一个显著区别是，它们为样本块提供不同的编码模式集。一方面，所选择的编码模式确定样本块是使用图像内预测还是图像间预测来预测的。另一方面，它还可以确定给定块对用于预测和/或变换编码的子块的细分。用于预测的块通常还与预测参数相关联，例如运动矢量或帧内预测模式。
为了给编码器和解码器产品的开发者尽可能多的自由，同时确保不同制造商的设备之间的互操作性，视频编码标准只规定了比特流语法和解码过程的结果，而编码过程被排除在范围之外。然而，特定编码器的编码效率在很大程度上取决于用于确定写入比特流的语法元素的值的编码算法。这包括选择编码模式、相关的预测参数、量化参数以及变换系数的量化索引。一类概念上简单且非常有效的编码算法基于拉格朗日比特分配[31，39，43]。利用这些方法，通过最小化在一组可用选择 $\mathcal A$ 上得到的失真 $D$ 和相关比特数 $R$ 的加权和来确定所使用的编码参数 $p^*$
$$ p^*=\arg\min_{\forall p\in \mathcal A}D(p)+\lambda R(p) $$
拉格朗日参数 $\lambda$ 是一个常数，它决定了失真 $D$ 和比特数 $R$ 之间的折衷，从而决定了重构视频的质量和比特流的比特率。混合视频编码标准能够实现的编码效率取决于几个设计方面，例如用于子样本插值的插值滤波器、熵编码的效率或所采用的环路内滤波技术。然而，从一个标准代到下一个标准代改进的主要来源通常是对一幅图片或一组样本编码的支持可能性的增加。例如，这包括运动矢量精度的提高、选择图像编码顺序的更大灵活性、可用参考图像的扩展集合、帧内预测模式数量的增加、运动矢量预测器数量的增加、支持的变换大小数量的增加以及运动补偿预测的块大小数量的增加。
在下文中，我们将研究支持将图片划分为运动补偿预测、图片内预测和变换编码的块的选项集。如果我们考虑给定的样本块，用于预测或变换编码的块的不同细分与失真和速率之间的不同权衡相关联。当我们将一个块细分为多个子块并为每个子块选择最佳预测参数时，我们通常会降低预测误差能量，但会增加传输预测参数所需的比特率。细分在率失真意义上是否有利取决于实际的样本块。通过扩展支持的细分模式集，我们通常会提高发送所选模式信号所需的比特率，但会降低编码预测残差的平均率失真成本，假设有合适的编码器决策算法。
$$E\left\{ \min_{\forall p\in \mathcal A} D(p)+\lambda R(p) \right\}$$
如果一组分割模式$\mathcal A$产生典型视频内容的拉格朗日率失真成本的较小期望值，则该组分割模式相对于另一组提高了编码效率。然而，应该注意的是，对于可能的细分模式的更大集合，一般来说，编码器还需要更高的计算复杂度来评估支持的模式集合。因此，在设计标准时，必须在潜在的编码效率和所需的编码器复杂度之间选择合理的折衷方案。
由于计算能力的不断提高，更新的视频编码标准支持更多的编码选项。在HEVC的发展中，人们进一步考虑到高清晰度和超高清晰度视频的编码变得越来越重要。为了处理如此高的分辨率，通常有利的是支持运动补偿预测和变换编码的较大块尺寸。但是为了使块划分适应图片的局部属性，额外支持小块大小也很重要。在HEVC，这两个目标都是通过引入基于简单统一但高效的四叉树语法的分层块划分概念来实现的[27，44]。此外，这种基于四叉树的块划分概念允许在编码器中应用快速最优树修剪算法[5]，以根据拉格朗日率失真成本来确定最佳块划分。
在基于块的混合视频编码中，每个图像被划分为样本块，并且图像内的多个块被聚集以形成作为独立可解码实体的切片。在坚持这一基本原则的同时，新的高效视频编码(HEVC)标准在样本聚合块分割和块聚合图片分割方面提供了许多创新特性。本章首先描述了HEVC改进的预测和变换编码的基于四叉树的块划分概念，包括其编码树块(CTBs)、编码块(CBs)、预测块(PBs)和变换块(TBs)的组成部分。此外，针对预测和变换的不同树深度和块大小的选择，评估了不同HEVC配置的编码效率改进。作为该实验评估的一个结果，观察到HEVC相对于其前身H.264 j MPEG-4 AVC的平均比特率节省的一半以上可以归因于其用于预测和变换编码的块划分的增加的灵活性。本章的第二部分着重于HEVC为分组化和并行处理目的而改进的图像分割概念。这包括讨论支持高级并行性的新工具，如瓦片和波前并行处理(WPP)。此外，还提出了将切片分割成相关切片段的新概念，用于并行比特流访问和超低延迟处理，同时总结了WPP和切片的优缺点。
高效视频编码(HEVC)标准是根据基于块的混合视频编码的成功原则设计的。遵循这一原则，首先将图像分割成块，然后通过使用图像内或图像间预测来预测每个块。前一种预测方法仅使用同一画面内的解码样本作为参考，而后一种方法使用已经解码的画面的移位块作为参考。因为画面间预测通常补偿视频序列的画面之间的真实世界对象的运动，所以它也被称为运动补偿预测。虽然图像内预测利用了图像内相邻块之间的空间冗余，但是运动补偿预测利用了图像之间的大量时间冗余。在任一情况下，通过获取原始块与其预测之间的差异而形成的最终预测误差使用变换编码来传输，该变换编码利用块内的空间冗余，并且包括去相关线性变换、变换系数的标量量化以及最终变换系数级别的熵编码。
图3.1示出了基于块的混合视频编码器的框图，该编码器具有HEVC关于其新颖的块划分概念的一些特征成分。HEVC的这一创新特征及其具体的关键要素将是本章的主题之一。在这种新的块分割方法的第一步中，HEVC的每个图像被细分成相同大小的分离的正方形块，每个正方形块用作第一块分割四叉树结构(编码树)的根，因此被称为编码树块。CTB可以沿着编码树结构进一步细分为编码块，编码块是编码器必须在图像内预测和运动补偿预测之间做出决定的实体。将图片分割成CTB和将CTB分割成CBs在第节中描述。分别为3.2.1和3.2.2。这两部分都强调了CTB/CB分区与旧视频编码标准中使用的宏块分区的异同。出于预测目的的CBs划分在很大程度上独立于编码树结构，将在第节中描述。3.2.3.预测残差在CB级的变换编码依赖于第二种嵌套块分割四叉树结构，即所谓的残差四叉树，并将在第节中与其结果变换块一起描述。3.2.4.最后，门派。3.2.5对HEVC的块划分概念的某些方面进行了实验评估，并将HEVC设计与旧视频编码标准的设计进行了比较。
在本章的第二部分，重点是为了分组化和并行处理的目的而进行的图像分割。第3.3.1节描述了从以前的视频编码标准中已知的将图片分割成片段，以及将片段选择性地分割成片段片段的新颖方法。高级并行化的各个方面将在第节中讨论。3.3.2随着瓦片和波前并行处理的新特性(WPP)。此外，描述了如何将这些图像分割特征与切片片段的概念一起使用来改善比特流访问。第3.3.3节从支持超低延迟应用的不同角度讨论了相同的工具组合。最后，在门派。3.3.4，讨论了tiles和WPP的优缺点。全章以3.4结尾。