简单网站建设软件有哪些方面,重庆品牌网站建设怎么样,侯马网站建设,网页设计网站制作流程块效应及其产生原因 我们在观看视频的时候#xff0c;在运动剧烈的场景常能观察到图像出现小方块#xff0c;小方块在边界处呈现不连续的效果#xff08;如下图#xff09;#xff0c;这种现象被称为块效应#xff08;blocking artifact#xff09;。 首先我们需要搞清楚…块效应及其产生原因 我们在观看视频的时候在运动剧烈的场景常能观察到图像出现小方块小方块在边界处呈现不连续的效果如下图这种现象被称为块效应blocking artifact。 首先我们需要搞清楚块效应产生的原因。h.264在编码过程中对像素残差进行了DCT变换变换后得到的DCT系数是与每个像素都相关的这些系数代表了被变换数据的基础色调与细节。h.264在DCT变换后对DCT系数进行了量化量化能有效去除相邻像素间的空间冗余也就是说会抹去元素数据的部分细节。比较理想的情况是量化抹去人眼无法识别的细节部分但是在低码率的情况下就会导致原始数据的细节丢失过多。而且DCT变换时基于块的即将8x8或者4x4的像素残差进行变换后得到8x8或者4x4DCT系数此时如果进行了低码率的量化就会使得相邻两个块的相关性变差从而出现块效应。 h.264的运动补偿加剧了由变换量化导致的块效应。由于运动补偿块的匹配不可能绝对准确各个块的残差大小程度存在差异尤其是当相邻两个块所用参考帧不同、运动矢量或参考块的差距过大时块边界上产生的数据不连续就更加明显。 块效应主要有两种形式一种是由于DCT高频系数被量化为0使得强边缘在跨边界处出现锯齿状称为梯形噪声另一种经常出现在平坦区域由于量化导致本来平缓变换的亮度块DC系数发生跳跃造成变换块的基础色调改变这种称为格形噪声。 去块滤波在编解码器中的位置 为了减轻和消除视频图像中的块效应通常会使用滤波器对块边界处的像素进行滤波以平滑像素值的突变这种滤波被称为去块滤波器Deblocking Filter。 标准8.7小节中规定了去块滤波的内容这部分被称为环路滤波器loop filter。环路滤波器是被放置在编解码的图像重建环路当中。在启用了环路滤波的编解码环境中无论是编码器还是解码器都是在图像被重建后才进行滤波。在编码器中滤波后的图像会作为后续编码运动补偿的参考图像在解码器中滤波后的图像会被输出显示并且作为后续图像解码重建的参考图像。 滤波前的准备 1. 滤波参数 在标准中去块滤波会被应用于亮度以及色度宏块的滤波语法元素disable_deblocking_filter_idc用于控制去块滤波是否打开它的取值有三个0~2。 0开启去块滤波功能去块滤波能穿越slice边界。1关闭去块滤波功能。2开启去块滤波功能但是滤波只能对同一个slice范围内的宏块执行。 2. 滤波边界 去块滤波基于宏块进行包括亮度宏块以及色度宏块。亮度宏块的宽高为16x16宏块而色度宏块有几种不同的格式去块滤波边界如下图 图中粗线条为滤波边界其中红色粗线为水平边界Horizontal edge蓝色粗线为垂直边界Vertical edge滤波边界把宏块分割成多个4x4的块。需要注意的一点是如果transform_8x8_mode_flag为1则代表亮度宏块以及4:4:4的色度宏块会采用8x8的DCT此时亮度宏块以及4:4:4的色度宏块的滤波边界会把宏块分割成8x8的块。 滤波边界还能根据滤波过程是否会用到当前宏块以外宏块来进行细分。宏块的顶部边界、左边界由于处于宏块边缘滤波的时候肯定需要用到相邻宏块而其余的滤波边界在滤波时只会用到当前宏块内部的像素。 Left MB Edge: 垂直方向上宏块最左边的宏块滤波边界 如果当前宏块为图像的最左边宏块的话不需要进行左边界滤波如果规定了只能用当前slice的宏块进行滤波disable_deblocking_filter_idc2并且当前宏块与其左边宏块不为同一slice那也不需要进行左边界滤波Vertical Internal Mb Edge: 垂直方向上的宏块内部滤波边界。不同宏块类型其中包含的垂直内部滤波边界的数量不同 宏块格式Y4:2:0 Cb/Cr4:2:2 Cb/Cr4:4:4 Cb/Cr垂直内部滤波边界数目3113 Top MB Edge: 水平方向上宏块最顶部的宏块滤波边界 如果当前宏块为图像的最顶部宏块的话不需要进行顶部边界滤波如果规定了只能用当前slice的宏块进行滤波disable_deblocking_filter_idc2并且当前宏块与其上方宏块不为同一slice那也不需要进行顶部边界滤波Vertical Internal Mb Edge: 垂直方向上的宏块内部滤波边界。不同宏块类型其中包含的垂直内部滤波边界的数量不同 宏块格式Y4:2:0 Cb/Cr4:2:2 Cb/Cr4:4:4 Cb/Cr水平内部滤波边界数目3133 滤波先进行亮度宏块滤波后进行色度宏块滤波对一个宏块滤波边界的滤波也需要遵循一定顺序 先进行垂直边界滤波从左到右后进行水平边界滤波从上到下 3. 滤波源像素选择 去块滤波所用的源像素分布在边界的两边分别有4个像素点如下图所示 p与q像素所在的4x4或者8x8块我们分别成之为P块与Q块。 如果当前编码的图像以帧或者场的方式进行编码则可以直接按照上述边界两边的位置得到滤波的源像素点。不过如果图像采用帧场自适应方式进行编码MBAFF则需要对边界两边的像素进行定位以得到正确的源像素。 我们在前面已经讨论过块效应是由于对块block进行DCT变换量化产生的去块滤波的目的是消除块效应因此去块滤波需要正确地定位出进行DCT变换量化的块。在帧场自适应的编码环境下宏块可以以帧或者场的方式进行编码但是在宏块进行重建后得到的都是帧宏块因此我们需要根据实际情况定位出当时进行DCT变换量化的块所在的像素。 以下是在帧场自适应编码环境下一个垂直边界滤波像素定位的事例 以下是在帧场自适应编码环境下一个水平边界滤波像素定位的事例 另外在帧场自适应的编码环境下如果当前宏块为帧宏块它的上方宏块为场宏块那么在进行顶部边界滤波时需要进行两条边界的滤波 滤波过程 1. 估算边界强度 对于滤波边界我们首先需要根据边界所在的位置已以及宏块的信息来粗略地估计边界两边的像素差距我们称这个像素差距为边界强度BSBoundary Strength。 判断条件边界强度 BS P块或者Q块为帧内编码模式并且块边缘为宏块边缘 4 P块或者Q块为帧内编码模式 3 P块或者Q块的残差变换系数包含非零系数 2 P块或者Q块的残差变换系数都不包含非零系数并且P块和Q块的参考帧或运动向量数目前后向不同 1 P块或者Q块的残差变换系数都不包含非零系数并且P块和Q块的参考帧以及运动向量数目前后向相同 0 上述表格用于亮度BS的计算色度宏块的BS沿用其相应亮度宏块的BS。由于表格的描述不尽详细详情请参考标准8.7.2.1 2. 区分真假边界 在粗略地估算滤波边界强度后我们需要区分这个边界强度是由于对块进行DCT变换量化引起的块效应虚假边界还是视频图像原有的边界真实边界。如果是真实边界则不需要进行滤波如果是虚假边界则需要进行去块滤波。区分真假边界基于下面两个假设 真实边界两边像素点的差值通常比虚假边界两边像素值要大对于两边像素值差别很小的真实边界即使使用了去块滤波对它的主观效果不会有太大影响因此去块滤波应该遵循以下原则 在平坦区域即使很小的像素不连续也很容易被人察觉所以要使用比较强的去块滤波可以改变较多的像素点对于复杂的区域为了保持图像细节要使用较弱的去块滤波改变较少的像素点 假设下图为像素点的亮度值分布图这种情况下两边像素点的差值非常大根据上面的假设在p0和q0之间出现的是物体的真实边界因而不需要进行滤波。 标准h.264中设定了两个阈值α和β来判断真假边界α表示块与块之间的边界阈值β表示块内部边界的阈值。对于边界两边的像素点的差值如果下面三个条件都满足就会被判定为需要滤波的虚假边界否则就判定为不需要滤波真实边界。 |p0 - q0| α[IndexA] |p1 - p0| β[IndexB] |q1 - q0| β[IndexB] 其中α与β可以通过IndexA以及IndexB从表格中得到。IndexA以及IndxeB为表格的索引他们的计算方法如下 IndexA Clip3( 0, 51, QPaverage FilterOffsetA ) IndexB Clip3( 0, 51, QPaverage FilterQffsetB ) 其中QPaverage ( QPpQPq1) / 2FilterOffsetA以及FilterOffsetB则为偏移量偏移量用于调整滤波强度。当需要增加滤波强度时用正偏移量可以去除由次优运动估计、编码模式选择不当引起的块效应改善图像主观质量当需要减少滤波强度时用负的偏移量可以保护图像细节不被滤波器的平滑作用模糊掉。偏移量将在slice头信息中传输请参考h.264语法结构分析中的deblocking相关语法元素。 Index012345678910111213141516171819202122232425α00000000000000004456789101213β00000000000000002223333444Index2627282930313233343536373839404142434445464748495051α15172022252832364045505663718090101113127144162182203226255255β66778899101011111212131314141515161617171818 由上述式子知道α与β的取决于QP的大小IndexA、IndexB与α、β对应值见下表 可见QP越大Index越大α与β就越大。QP越大意味着量化误差越大块效应会越明显因此阈值也应该取较大值来增大滤波效果反之阈值应该取较小值。 3. 滤波运算 在前面我们讨论了5种边界强度BS当边界强度不为0时就需要进行边界滤波。h.264的边界滤波有两种滤波器 BS 1,2,3采用强度较弱的滤波器首先改变p0、q0两个像素点接着用阈值β判断是否需要调整p1和q1BS 4此时有两种强度的滤波器强滤波器可以改变6个像素点p0、p1、p2、q0、q1、q2弱滤波器只改变边界上的两个点p0、q0 1 BS 1,2,3时的滤波运算 ①首先对边界上的两个像素点p0与q0进行滤波它需要输入p1、p0、q0、q1滤波过程如下 先要得到差值Δ差值的计算方式Δ ( (q0-p0)2 (p1-q1) 4 ) 3然后需要对差值Δ进行限幅保证这个差值在一定的范围内这个范围主要通过查表得到详情请查看标准8.7.2.3用差值Δ来计算新的p0、q0也就是滤波后的值 ②接下来对块内的像素点p1与q1分别进行滤波。4:2:0以及4:2:2色度宏块边界的话是不需要执行这部分的滤波的。如果是要计算p1则需要输入p2、p1、p0、q0如果是q1则需要输入p0、q0、q1、q2。 另外只有满足|p2-p0|β才能对p1进行滤波因为满足这个条件则认为P块内部p1处有虚假边界p1的滤波过程如下 先要得到差值Δ差值的计算方式为Δ ( p2 ((p0q01)1) − (p11)) 1然后需要对差值Δ进行限幅保证这个差值在一定范围内这个范围主要通过查表得到详情请查看标准8.7.2.3用差值来计算新的p1q1的滤波过程也是类似的步骤。 2 BS 4时的滤波运算 在h.264的帧内预测编码中倾向于对纹理简单的区域用16x16亮度预测模式编码如蓝天、白色墙面等以达到快速编码的目的。虽然这种方法只会在宏块边界引起轻微的块效应但是在这种情况下即使很小的强度值查表也会在视觉上产生陡峭的阶梯状的感觉色块分层因而对于这种内容平滑的宏块边界就需要采用较强的滤波器如果此时宏块边界有大量的细节存在反而不应做强滤波。对此h.264仍采用阈值法来判断是否存在真实边界如果不存在大量细节信息可以做强滤波反之做弱滤波。 这里的滤波是比较好理解的抽头滤波器P、Q块上的滤波过程差不多这里以P块为例。 对于P块的点如果满足下式则认为细节信息不多 $\left\{\begin{matrix}|p0-q0|(\alpha 2)2\\ |p2-p0|\beta\end{matrix}\right.$ 采用强滤波 $\left\{\begin{matrix}p0 (p22p12p02q0q14)3\\ p1 (p2p1p0q02)2 \\p2 (2p33p2p1p0q04)3\end{matrix}\right.$ 否则采用弱滤波只改变p0点 $p0 (2p1p0q12)2$ 参考文献 ITU-T Rec. H.264 (04-2013) Advanced video coding for generic audiovisual services 陈靖、刘京、曹喜信深入理解视频编解码技术——基于H.264标准及参考模型转载于:https://www.cnblogs.com/TaigaCon/p/5500110.html
