多屏互动背景下的数字视频直播技术研究

admin管理员组

文章数量:1565263

2024年7月24日发(作者：)

摄录采编播 Video Editing&Broadcast

2021年1月 月刊 总第345期

多屏互动背景下的数字视频直播技术研究

文/四川广播电视台 郭东海

摘要：在三网融合政策的

支持下，数字电视通过多年发

展，无论是覆盖率还是技术水平

都得到了快速发展。面对互联网

视频带来的挑战，数字电视的技

术也需迭代创新，需要从传统单

向、单屏、单平台传播方式向互动、

多屏、多平台兼容并存传播方式

转换。本文将对多屏互动背景下

的数字视频直播技术进行浅析。

关键词：数字视频 直播 多屏

低延时 HLS DASH CMAF

1 引言

2020年不仅是5G技术商用元年，

更是视频行业迅猛发展的一年。在疫情

的大背景下，视频行业在2020年有了

极大的发展，不仅仅是远程教育、远

程办公、远程医疗这些新型应用场景，

还包括传统互联网视频行业，无论是

在用户数量、观看时长、消费支出上

都有巨大增幅，同时随着网红经济的

发展，互联网UGC/PGC直播行业也

在急速发展。本文从技术的角度展开

分析，对互联网平台的数字视频直播

技术的优势以及在多屏互动背景下的

数字视频直播的技术选型进行浅析。

2 直播技术分析

多屏互动就是将视频内容通过不

同的传输方式交付给用户的各种不同

的终端，包括电视、平板设备、手机

以及其他的泛视频终端，并实现终端

之间视频的无缝连接和传输。用户通

过智能终端进行内容播放视频，多类

型终端屏幕上显示的内容可以实现同

步，内容运营商可以在用户的互动操

作下将内容提供到不同的终端屏幕上，

并根据终端类型匹配视频内容不同的

质量（视频分辨率和码率）。对内容

运营商而言，其核心在于如何将高质、

高效率、低成本的视频内容交付到各

类终端屏幕。

本文针对视频传输的协议和方式

进行分析。现阶段数字视频直播在互

联网上传输协议主要分为下面几种：

RTMP（实时消息传输协议）、HLS

HTTP的实时流协议）、DASH

HTTP上的动态自适应流协议）和

CMAF（通用媒体应用格式）。

上述数字视频传输协议为目前主

流的、较为常用媒体分发协议。RTMP

协议属于即将过时的协议，但由于目

前仍有大量被使用的场景及业务，将

对其进行简要分析。

2.1 RTMP

在互联网流媒体行业发展初

期，RTMP在Adobe公司的积极推

广下成为了互联网视频传输的公认标

准，相比传统的MPEG-TS over IP

技术，RTMP协议工作在TCP协议之

上，确保了视频传输的可靠性，通过

协议扩展的方式RTMP可以保持流畅

的视频体验。由于RTMP视屏播放能

力原生集成在Flash播放器中，使其

流行成为可能，但随着Flash逐步退

出历史舞台，各大浏览器厂商对Flash

停止支持，各大视频平台逐步在向新

一代的传输分发协议演进，例如HLS、

DASH、CMAF等，在P2P的视频传

输上，RTMP也逐渐被SRT、ZIXI

或RIST等针对互联网的视频传输协

议所替代，RTMP的使用场景也在逐

年下降。造成上述结果的最主要原因

是该协议有以下不足：协议从2009年

至今没有更新，视频编码方式支持到

H.264，无法支持H.265、AC3等音

视频协议传输；播放器终端的兼容性

存在较大问题；无iOS或Android原

生支持；无针对视频的QoS的优化,

传输严重依赖底层TCP协议；传输延

时高达5~10s；大规模视频内容分发

应对不足。

鉴于上述缺陷，RTMP继续成为

视频直播分发技术的可能性已经丧失

殆尽。

2.2 HLS

HLS是Apple公司在2009年推

出的媒体流传输协议，是基于ABR自

适应码率技术的流媒体传输，用于向

互联网用户通过多码率的方式传输音

视频内容，解决了传输网络得不到保

.

41

（基于

（在

Video & Audio

视音频技术

障时的用户卡顿问题，通过HTML5

播放器的支持确保了浏览器对该协议

的兼容性。

HLS协议原生使用HTTP协议作

为基础，而互联网应用基本都在使用

HTTP协议，使得基于HLS协议的视

频始终通过标准的80、443端口进行

传输，确保不被防火墙阻拦。

如图1所示，HLS协议将不同分

辨率、码率的直播视频内容进行切片，

访问地址及其码率、分辨率等特征信息

将统一记录在m3u8播放列表中，编码

切片设备将这些切片文件和播放列表文

件推送到标准HTTP服务器上进行存

储，然后分发到各CDN节点，各终端

了该协议。但HLS协议高延迟（30s

到1min左右延迟），使得直播互动性、

直播精细化控制变得相对困难，基于

上述问题MPEG组织推出了基于ABR

的流媒体分发技术MPEG-DASH。

通过HTTP协议访问源站或CDN节点，

2.3 MPEG-DASH

终端播放器将根据当前网络实际情况自

该协议与HLS类似，也是通过将

动选择播放最适合当前带宽的播放列表，

视频分解为较小的块，并以不同的质

确保播放流畅。

得益于苹果设备终端的普及，HLS

量级别对这些块进行编码，实现流式

传输不同质量等级的视频，并动态的

根据网络状况在不同的质量等级间切

换。但MPEG-DASH带来以下新的

技术改变：支持广泛的编码格式，允

许使用任何音视频编码标准；采用

MP4（ISO-BMFF）先进的媒体存储

格式，存储的效率更高；更小的切片

尺寸通常为2~4s，播放过程中可以

更快地在不同质量级别之间进行切换，

从而更快适应网络变化；播放控制更

加精细，可以通过NTP的同步，实现

所有终端的播放时延的控制。

图2是DASH的数据存储模型，

可以看出，在MPEG-DASH上可以

每个视频切片文件从2s到10s不等，

成为了互联网媒体分发的主要协议，超

使用.ts文件名后缀，切片文件的URL

过70%的互联网流媒体分发应用采用

图1 HLS的基本工作原理

有更灵活的分段模型，可以定义灵活

的广告插播动作等。

图2 DASH的数据存储模型

42

.

摄录采编播 Video Editing&Broadcast

2021年1月 月刊 总第345期

低了各传输环节带来的延时。通过测

试，LL-CMAF可以在1080p的直播

中实现大概1.6s到2s的端到端延时，

对比传统IPTV视频传输的3~10s延

时有了极大的提升。因此，在新一代

的直播视频分发协议选择上，CMAF

（包括LL-CMAF）将会是一个重要的

选项。

而WebRTC或SRT等协议，由

于其对大规模分发的优化以及针对电

视行业的画质要求等，我们认为现阶

图3 各种视频直播格式延迟情况

段并不适用于广播电视直播的分发

虽然MPEG-DASH具有很多优

点，但依旧有很多问题没有得到好的

解决，例如：HTML5浏览器无法原

生支持；小分片的引入虽然降低了延

地使用各自的终端，省却了重复的媒

（SRT在制作回传领域有其优势）。

体内容的存储，降低CDN分发和存储

的成本，也降低了网络拥塞可能性。

CMAF对视频传输带来的好处不

3 结论

全文浅析了数字视频直播的多种

分发技术，相信在5G技术的大规模

商用以及广电5G牌照的背景下，数

字视频的直播技术会有更多的应用，

而更多传统内容运营商也会更快利用

如CMAF等新的视频分发技术。与

迟，但依旧有10s到30s之间的延时；

言而喻，它不仅降低视频传输的复杂性

与传统的广播电视传输技术相比存在

不少差距；HLS的大规模使用造成了

运营商需要同时支持HLS和CMAF

两种协议，带来处理、存储和传输上

巨大的成本压力。

和成本，还解决互动视频传输中的很多

难题。而现实中，直播视频传输遇到关

键问题就是延时，即使在使用CMAF

后，视频直播也需要30秒左右才能交

付给终端，这样的用户体验在大型活动、

此同时，如何提高编码效率，提升视

体育赛事上是很难被接受的。为了解

决这个延时问题，引入了LL-CMAF

频质量或引入更多的特性，如HDR、

8K、VR等也会是视频从业者热门的

话题。

2.4 CMAF

2016年，由微软和苹果牵头与

MPEG组织共同制定了一个通用的媒

（Low Latency CMAF），即低延时的

体应用格式CMAF。这是一项跨企业

和行业的协作，通过共同努力降低在

线传输视频时的复杂性，简单来说是

希望通过CMAF融合HLS和DASH

的媒体分片存储格式，降低媒体储存

和传输的压力。2017年7月合作开发

者已经完成了CMAF的规范，并于

2018年1月发布了该标准。

CMAF协议定义了一个通用的媒

体分片存储格式，确保HLS和DASH

的终端均可以读取。在其之上，播

CMAF，通过低延时CMAF技术将直

播视频的延时降低，提供比传统广播电

视更低的延时

。

如图3所示，传统广播电视传输

技术（如DTT、DTH、IPTV）等的

延时大概在3s到10s之间，而现阶段

多屏传输技术的延时基本都在30s以

上，引入LL-CMAF就是将端到端的

延时降低到200ms到6s之间。

LL-CMAF通过HTTP1.1的协

助以及更小的输出分片，实现了推送

参考文献：

[1] 卓朗科技技术团队. 直播系统开发[M]. 北

京:电子工业出版社, 2019.

[2] Apple. HTTP Live Streaming [OL].

/streaming/,

2009-01.

[3] MPEG. MPEG-DASH Standards[OL].

/standards/

mpeg-dash, 2012-04.

[4] CMAF. Common Media Application

Format [OL]. glione.

org/standards/mpeg-a/common-media-

application-format, 2018-01.

[5] 张翰,石小明.一种基于云技术的视频

转码平台设计[J].有线电视技术,2015 (1):

35-37.

.

放列表还保有HLS和DASH的特点，

式流分发以及更低的编码输出延时，

这样就确保了各自协议的特点，更好

从原来的几秒变为几百毫秒，大大降

43

本文标签： 视频直播传输协议技术