视频直播技术：一个完整的视频直播过程.pdf

1、视 频 直 播 技 术 :一 个 完 整 的 视 频 直 播 过 程一 个 完 整 的 视 频 直 播 过 程 ， 包 括 采 集 、 处 理 、 编 码 、 封 装 、 推 流 、 传 输 、 转 码 、分 发 、 解 码 、 播 放 等 。一 、 采 集音 频 采 集 音 频 的 采 集 过 程 主 要 通 过 设 备 将 环 境 中 的 模 拟 信 号 采 集 成 PCM 编码 的 原 始 数 据 ， 然 后 编 码 压 缩 成 MP3 等 格 式 的 数 据 分 发 出 去 。 常 见 的 音 频 压 缩格 式 有 ： MP3， AAC， HE-AAC， Opus， FLAC， Vor

2、bis (Ogg)， Speex 和 AMR等 。图 像 采 集 图 像 的 采 集 过 程 主 要 由 摄 像 头 等 设 备 拍 摄 成 YUV 编 码 的 原 始 数 据 ，然 后 经 过 编 码 压 缩 成 H.264 等 格 式 的 数 据 分 发 出 去 。 常 见 的 视 频 封 装 格 式 有 ：MP4、 3GP、 AVI、 MKV、 WMV、 MPG、 VOB、 FLV、 SWF、 MOV、 RMVB 和WebM 等 。二 、 处 理视 频 或 者 音 频 完 成 采 集 之 后 得 到 原 始 数 据 ， 为 了 增 强 一 些 现 场 效 果 或 者 加 上 一 些额 外

3、 的 效 果 ， 我 们 一 般 会 在 将 其 编 码 压 缩 前 进 行 处 理 。视 频 ： 美 颜 、 水 印 、 路 径 、 自 定 义音 频 ： 混 音 、 降 噪 、 特 效 、 自 定 义三 、 编 码对 流 媒 体 传 输 来 说 ， 编 码 非 常 重 要 ， 它 的 编 码 性 能 、 编 码 速 度 和 编 码 压 缩 比 会 直接 影 响 整 个 流 媒 体 传 输 的 用 户 体 验 和 传 输 成 本 。常 见 的 视 频 编 码 器 ：1)H.264/AVC2)HEVC/H.2653)VP84)VP95)FFmpeg音 频 编 码 器 ： Mp3, AAC 等

4、。四 、 封 装把 编 码 器 生 成 的 多 媒 体 内 容 (视 频 ， 音 频 ， 字 幕 ， 章 节 信 息 等 )混 合 封 装 在 一 起几 种 常 见 的 封 装 格 式 ：1)AVI 格 式 (后 缀 为 .avi)2)DV-AVI 格 式 (后 缀 为 .avi)3)QuickTime File Format 格 式 (后 缀 为 .mov)4)MPEG 格 式 (文 件 后 缀 可 以 是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4 等 )5)WMV 格 式 (后 缀 为 .wmv .asf)6)Real Video 格 式 (后 缀

5、为 .rm .rmvb)7)Flash Video 格 式 (后 缀 为 .flv)8)Matroska 格 式 (后 缀 为 .mkv)9)MPEG2-TS 格 式 (后 缀 为 .ts)目 前 ， 我 们 在 流 媒 体 传 输 ， 尤 其 是 直 播 中 主 要 采 用 的 就 是 FLV 和 MPEG2-TS格 式 ， 分 别 用 于 RTMP/HTTP-FLV 和 HLS 协 议 。五 、 推 流推 流 是 指 使 用 推 流 工 具 等 内 容 抓 取 软 件 把 直 播 内 容 传 输 到 服 务 器 的 过 程 。推 送 协 议 主 要 有 三 种 ：RTSP(Real Tim

6、e Streaming Protocol)： 实 时 流 传 送 协 议 ， 是 用 来 控 制 声 音 或 影像 的 多 媒 体 串 流 协 议 , 由 Real Networks 和 Netscape 共 同 提 出 的 ;RTMP(Real Time Messaging Protocol)： 实 时 消 息 传 送 协 议 ， 是 Adobe 公 司 为Flash 播 放 器 和 服 务 器 之 间 音 频 、 视 频 和 数 据 传 输 开 发 的 开 放 协 议 ;HLS(HTTP Live Streaming)： 是 苹 果 公 司 (Apple Inc.)实 现 的 基 于 HT

7、TP 的 流 媒体 传 输 协 议 ;RTMP 是 目 前 主 流 的 流 媒 体 传 输 协 议 ， 广 泛 用 于 直 播 领 域 ， 市 面 上 绝 大 多 数 的 直播 产 品 都 采 用 了 这 个 协 议 。RTMP 协 议 基 于 TCP， 是 一 种 设 计 用 来 进 行 实 时 数 据 通 信 的 网 络 协 议 ， 主 要 用来 在 flash/AIR 平 台 和 支 持 RTMP 协 议 的 流 媒 体 /交 互 服 务 器 之 间 进 行 音 视 频和 数 据 通 信 。 支 持 该 协 议 的 软 件 包 括 Adobe Media Server/Ultrant M

8、ediaServer/red5 等 。它 有 三 种 变 种 ：RTMP 工 作 在 TCP 之 上 的 明 文 协 议 ， 使 用 端 口 1935;RTMPT 封 装 在 HTTP 请 求 之 中 ， 可 穿 越 防 火 墙 ;RTMPS 类 似 RTMPT， 但 使 用 的 是 HTTPS 连 接 ;RTMP 协 议 就 像 一 个 用 来 装 数 据 包 的 容 器 ， 这 些 数 据 可 以 是 AMF 格 式 的 数 据 ,也 可 以 是 FLV 中 的 视 /音 频 数 据 。 一 个 单 一 的 连 接 可 以 通 过 不 同 的 通 道 传 输 多 路网 络 流 。 这 些

9、通 道 中 的 包 都 是 按 照 固 定 大 小 的 包 传 输 的 。六 、 传 输推 送 出 去 的 流 媒 体 需 要 传 输 到 观 众 ， 整 个 链 路 就 是 传 输 网 络 。七 、 转 码视 频 直 播 播 流 端 的 码 率 是 根 据 推 流 端 决 定 的 ， 即 播 流 端 的 码 率 是 与 推 流 端 的 码 率一 致 的 。 但 是 遇 到 以 下 场 景 会 造 成 直 播 效 果 较 差 ：推 流 端 码 率 与 播 流 端 带 宽 不 相 匹 配 。 当 推 流 端 码 率 较 高 而 客 户 端 带 宽 资 源 有 限 就会 导 致 播 放 出 现 卡

10、 顿 ， 而 当 推 流 端 码 率 较 低 但 是 客 户 端 对 于 直 播 效 率 要 求 较 高 时会 导 致 播 放 效 果 较 差 。播 放 器 插 件 需 要 实 现 多 码 率 切 换 。 前 端 播 放 器 插 件 常 可 以 设 置 码 率 切 换 ， 这 就 需要 同 一 路 推 流 可 以 同 时 提 供 多 种 码 率 的 播 流 地 址 。因 此 ， 视 频 直 播 提 供 了 实 时 转 码 功 能 对 同 一 路 推 流 地 址 同 时 提 供 多 路 不 同 码 率 播流 地 址 提 供 服 务 。八 、 分 发流 媒 体 服 务 器 的 作 用 是 负 责

11、直 播 流 的 发 布 和 转 播 分 发 功 能 。九 、 解 码编 码 器 (Encoder)： 压 缩 信 号 的 设 备 或 程 序解 码 器 (Decoder)： 解 压 缩 信 号 的 设 备 或 程 序编 解 码 器 (Codec)： 编 解 码 器 对十 、 播 放 器 流 播 放主 要 是 实 现 直 播 节 目 在 终 端 上 的 展 现 。 因 为 这 里 使 用 的 传 输 协 议 是 RTMP， 所以 只 要 支 持 RTMP 流 协 议 的 播 放 器 都 可 以 使 用 ， 譬 如 ：电 脑 端 ： VLC 等手 机 端 ： Vitamio 以 及 ijkplayer 等