图4:在SVC中的分层预测帧。
这个方案具有四个嵌套的临时层:T0 (基础层)、T1、T2和T3。由T1和T2各层构成的帧仅仅由T0层中的各帧预测。在T3层中的各帧仅仅由T1或T2各层中的各帧来预测。
为了以3.75帧每秒的速度播放编码帧,仅仅构成T0的各帧需要被解码。所有的其它各帧可以被丢弃。为了以7.5fps的速度播放,要对构成T0以及T1的各层进行解码。在T2和T3中的各帧被丢弃。类似地,如果构成T0、T1和T2的各帧被解码,所得到的视频流将以15fps的速度播放。如果所有帧均被解码,那么,完全的30fps视频流被恢复。
相比之下,在H.264 SVC(对于Baseline Profile来说,仅仅双向预测帧被应用)中,不管需要的显示率是什么,所有帧均需被解码。为了转换至一个低带宽网络,整个视频流均需要被解码,不需要的帧可以被丢弃,然后,重新编码。
在H.264 SVC中的空间可扩展性遵循类似的原则。在这一情形下,较低分辨率的各帧被编码为基础帧。经解码和上行采样的基础帧被用于对较高阶各层进行预测。重构原始场景细节所需要的附加信息被编码为一个独立的增强层。在某些情形下,重用运动信息能够进一步增加编码效率。
同时联播与SVC
在H.264 SVC中存在于可扩展性相关的开销。正如我们在图3中所看到的那样,参考帧与预测帧之间的距离在时间(例如从T0至T1)上比传统的帧结构要长。在具有高运动图像的场景中,这能够导致效率稍低的压缩。为了对视频流各层级结构进行管理,也存在相关的开销。
整体而言,跟不具备可扩展性的全分辨率以及全帧速率视频构成的H.264视频流相比,具有三层临时可扩展性以及三层空间可扩展性的SVC视频可能要大20%以上。如果采用H.264 编解码器对可扩展性进行仿真,就需要多个编码视频流,从而导致更高的带宽要求或贯穿网络的昂贵解码和二次编码。
SVC的额外好处:
误码恢复
误码恢复的传统实现方法是把附加的信息添加至视频流之中,以便监测和校正误码。SVC的分层方法意味着不需要增加大的开销,就可以在较小的基本层上执行高级别的误码监测和校正。如果要把相同程度的误码监测和校正功能应用于AVC视频流中,那就需要把整个视频流保护起来,从而导致视频流更大。如果在SVC视频流中监测出误码,那么,就可以逐渐让分辨率和帧速率退化,直至—如果需要的话—只有高度受保护的基础层才可以使用。按照这一方式,在噪声条件下的退化要比在H.264 AVC环境下更让人可以接受。
存储管理
因为SVC视频流或文件即使在被删节的情况下仍然可被解码,SVC既可以在传输过程之中、也可以在文件被存储之后采用。把被分解的文件存储在光盘上并取消增强层,就可以在不对存储在文件中的视频流进一步处理的情况下,压缩文件的大小。这对于需要“要么全部管、要么不管”的方法进行光盘管理的AVC文件来说是不可能的。
内容管理
SVC视频流或文件固有地包含较低分辨率以及帧速率的视频流。这些视频流可以被用于加速视频分析的应用或分类各种算法。临时可扩展性也使得视频流易于以快速进退的方式搜索。
应用案例
H.264 SVC的典型应用是监控系统(Stretch公司在这个领域提供市场领先的解决方案,请访问其网站了解更多的细节)。以IP摄像机把视频馈入视频内容被存储的控制间的情况为例,在视频流上要运行基本运动监测分析。在控制间显示器上,以摄像机最大的分辨率(1280 x 720)观看馈入的视频,并以D1 (720 x 480)的分辨率存储在保存光盘空间上。第一反应团队也在现场反应车内的移动终端上接入视频流。那些显示器的分辨率是CIF (352 x 240),而视频流的伺服速率为7fps。
在利用H.264 AVC实现的过程中,首要约束可能就是该摄像机伺服多个视频流。在这个例子中,一个分辨率为1280x720,而另一个分辨率为720 x 480。在就给摄像机增加了额外的成本,但是,让视频流可以在控制间被直接记录,与此同时,另一个视频流被解码和显示。
如果没有这一功能,那就需要采用昂贵的解码、重定尺寸以及重新编码步骤。D1流也可以被解码并重新调节大小,以转换为CIF分辨率,从而馈入在视频流上运行的视频分析(工具)上。CIF分辨率在时间上骤减以实现每秒7帧以及重新编码,以便让第一反应车通过无线链路加以利用。图5显示了利用H.264 AVC可能实现的一个系统。