1、移动端音视频 应用 优化之道网易杭州 研究院 / 郭再荣音 视频 技 术专 家 背景 音 视频 处 理 过 程 端到 端 优 化策略 总结背景网络带宽智能硬件市场需求视频门户、娱乐直播、游戏直播，在线教育、远程医疗 ，远程 监控，企业协作，社交 应用等各行业存在巨大需求。网络带宽的不断 提速 ，同时网络资费相应地降低，视频上行和下行所需的带宽和流量已经达到要求。智能硬件设备的高速发展，机器性能越来越强劲，让移动端的视频应用井喷爆发，真正变得唾手可得。音视频 处理过程（推流端 ）预处理编码采集 音频， 视频麦克风 ，摄像头，桌面。协议： RTMP， HLS， HTTP， RTP发送降噪，回声抑制
2、，混 音美颜 滤镜，水印。H.264， VP8， AAC， Speex格式： FLV， MP4， TS音视频 处理过程 （ 播放端 ）解码后处理接收 协议： RTMP， HLS， HTTP， RTP拉伸，裁剪，走马灯显示格式： FLV， MP4， TSH.264， VP8， AAC， Speex色彩增强，音量增强音视频处理流程图音视频采集 SDK( iOS/Android/PC ) 流媒体 CDN跨平台视频播放器（ iOS/Android/Web）视频 直播视频 点播视频 存 储 服 务（ NOS）直播 录 制集群（ NTS）媒体 转码 集群（ NTS）视频 点播集群（ VOD）跨平台 视频
3、播放器 ( iOS/Android/Web )流媒体 CDN推 流( RTMP )拉流(RTMP/HLS/HTTP)HTTP方式文件上传视频转码录制视频上传视频点播本地录像上传 直播流录制拉流(HTTP/HLS)点播回源视频云直播框架流媒体 CDN平台播放器 SDK应 用管理服 务 器视频 云管理服 务 器视频 云 应 用服 务 器视频 云管理 Web端网易云 计 算 认证 平台推流 ( RTMP )拉流(RTMP/HLS/HTTP)视频云服务端客户端 App( iOS/Android/PC /Web)推流端 SDK视频 云点播 框架云存储服务应 用管理服 务 器视频 云管理服 务 器视频 云
4、 应 用服 务 器视频 云管理 Web端网易云 计 算 认证 平台上传 ( HTTP )拉流(RTMP/HLS/HTTP)视频云服务端客户端 App( iOS/Android/PC /Web)上传 SDKCDN分发平台云转码系统视频点播服务视频云基础服务播放器 SDK端到端的优化策略编码模式码率控制视频标准H.264， HEVC/H.265， VP8/9通用性，复杂度，性能，清晰度，码率低延时，快速启动，主动追赶，适合直播抗抖动，加大缓冲，预加载流，适合点播缓冲策略软件：兼容性好，性能低，耗电硬件：性能高，适配性差，省电码率控制算法优化，确保码率波动小。控制 GOP尺寸，避免码率出现频繁尖峰。端到端的优化策略实时统计Qos调整链路优化根据用户出口 IP，采用中心调度策略，选择合适的网络节点，找到最优链路。网络信息，实时网络状况，机器信息，卡顿情况，帧率，码率，分别率。实时监控推流数据，采用快降慢升策略，动态调整帧率，码率，分辨率，缓冲区。总结清晰模糊流畅卡顿折衷策略动态 平衡
