ADSP系列处理器在网络多媒体中的应用.doc

1、ADSP 系列处理器在网络多媒体中的应用摘要：介绍 ADI Blackfin 系列 ADSP 处理器，双 MAC 处理器架构使其同时具有 DSP 的性能和 MCU 的功能，能够运行嵌入式操作系统；同时介绍在各种网络多媒体应用领域，如IP 机顶盒，网络视频监控，可视 VoIP 电话等方面的设计，说明如何利用 ADSP 处理器BF533 和 BF561 的架构优势，同时运行操作系统和进行数字信号处理，支持多种多媒体格式，灵活高效地实现软硬件设计。 关键词：双 MAC 处理器架构，嵌入式 Linux，多种多媒体格式, ADSP-BF561 双 DSP架构，一核运行操作系统，一核进行数字信号处理 Bl

2、ackfin 是 ADI 公司推出的一类新型的嵌入式处理器，专为满足目前音频、视频、通信应用等方面的计算需求和降低功耗而设计。而 ADSP-BF533 和 ADSP-BF561 是 Blackfin系列中具有代表性的 DSP 处理器。本文将就 BF533/BF561 在网络多媒体中的应用作一定的介绍。 一 Blackfin 系列 DSP 的典型应用： 汽车图像系统 宽带无线系统 多媒体消费电子产品 数字视频录像机 多声道 VoIP 安防和监控 机顶盒 视频会议 二Blackfin 系列 DSP 的应用趋势 DSP 在多媒体应用中的需求正在转变。目前，逐渐显露出对以下产品的市场需求：无线、多媒体

3、产品应用、无线局域网、家庭网关和其他消费类产品；以及对于汽车和工业应用中要求高速信号处理的产品的需求也在不断增长。多媒体的应用，正逐渐走向网络化、多样化。目前的 DSP 需要满足快速增长的支持多种多媒体格式的产品的市场需求： 视频 : WMV ver.9, H.264, MPEG-4, MPEG-2, MJPEG 音频 : WMA Pro ver.9, MP3, MP3 PRO, AAC, Dolby Digital, DTS 语音 : G.711, G.728, G.729AB, G.723.1A, AMR 无线通信 : WLAN 802.11b, GSM/GPRS, EDGE & 3G 传

4、统的可编程体系结构已经无法满足目前有特殊要求的信号处理的需求。固化的 ASIC芯片也无法满足目前多制式的产品应用所面临的成本、适应性以及快速推向市场的要求。而采用 RISC/DSP 相结合的架构现在已经拥有足够的处理能力，能够满足更广的音视频产品市场的需求。 三 Blackfin 系列 DSP 主要特性 Blackfin 系列 dsp 内核最高可达 756MHz/1,512MMACs，可以支持多声道音频和VGA/D1 视频的多媒体应用处理。加强了动态电源管理，采用 0.8V 的内核供电，以充分延长在手持设备应用中电池的使用时间。其中 ADSP-BF533 具有 600MHz 时钟频率和1.2G

5、MACS（每秒十亿次乘法累加运算）运算速度；低价位的 ADSP-BF531 则具有300MHz/600MMACS（每秒百万次乘法运算）的性能。这两款 Blackfin 处理器兼具业界一流的数字信号处理（DSP）性能和微处理器(MCU)功能性并且支持嵌入式操作系统以满足当今嵌入式音频、视频和通信应用对高速运算和低功耗的要求。ADSP-BF533 在达到600MHz 性能水平时的功耗仅为 280mW。为了充分发挥 Blackfin 体系结构的动态电源管理能力，该处理器集成了一个片内开关稳压器，它利用 2.25 V 3.6 V 外接电源电压可产生 0.7 V1.2 V 可设置的内核工作电压，从而降低

6、了总体成本，并节省了外部电源元器件。 这些新型 Blackfin 处理器还支持嵌入式操作系统，例如嵌入式 Linux、ThreadX 和Nucleus 操作系统。另外，Blackfin 处理器内的视频优化功能能够实现完全可编程的D1/VGA 实时视频和多通道音频处理而没有专门硬件或异构双内核解决方案的复杂性或不灵活性。使用这种可编程的 Blackfin 处理器，能使用户开发的产品快速投放市场，并且很容易支持新兴的多媒体格式，例如，MPEG-4，H.264 和 Windows Media。 四 Blackfin 系列 DSP 的内部结构 BF533 有较高的集成度，集成了较为丰富的外围接口，如图

7、 4-1 所示：图 4-1 BF533 外围模块图强劲的外围接口可支持 ITU-R 656 视频数据格式 2 个双通道全双工同步串行端口可支持 8 个立体 I2S 通道 12 DMA 通道支持一和二维的数据传输 存储控制器可紧密连接多种外部存储器，如 FLASH、SDRAM、SRAM 和 ROM 3 个可以支持 PWM 核脉冲宽度 /时间计算模式的计时器 可支持 IrDA 的 UART SPI 兼容端口 实时钟 看门狗计时器 调试/JTAG 接口 支持 1x 到 63x 频率倍数的 PLL Blackfin 处理器 DSP 内核结构，如图 4-2 所示：Blackfin DSP 内核包括 2

8、个 40 位的算术逻辑单元（ALU）、2 个乘法器/累加器（MAC）、4 个视频 ALU 以及 1 个移位器。各个计算单元执行不同类型的操作：ALU 执行算术和逻辑操作；乘法器执行乘法、乘法/加和乘法/减操作；移位器执行逻辑移位、算术移位、位的压缩和解压缩操作；视频 ALU 执行单指令处理多数据（ SIMD）的逻辑运算，这种操作是基于 8 位数据的。计算单元通过数据寄存器组来输入/ 输出数据。数据寄存器组包含 8 个 32 位寄存器。每个 32 位的寄存器可以看成是 2 个独立的 16 位寄存器。例如寄存器 R0 可以看成由 2个 16 位的寄存器 R0.H 和 R0.L 组成。另外寄存器组中

9、还有 2 个 40 位的累加器 Acc0 和Acc1，他们是 ALU 操作的专用寄存器，主要用于乘法和加法操作。 程序控制器控制指令执行的流向，它包括指令的对齐和解码。程序控制器支持条件转移、条件子程序调用和零开销循环。循环缓冲器存储将要执行的指令。 在目前的嵌入式多媒体应用中有一些采用了多处理技术的解决方案，一般的结构如图4-1 所示，双内核引擎通过双口 RAM 无缝连接，形成了一个硬件 /软件综合的平台，可以运行操作系统和使用标准 API 的应用：同样的多处理技术，也可以用在 Blackfin 系列 DSP 上。在这样的架构中 DSP 主要负责媒体处理、信号处理；而 RISC 则主要完成控

10、制、包处理等等。但实际上 Blackfin 系列的处理器并不仅仅是一个单纯的 DSP，它是一高性能的双 MAC处理器，额外拥有其他类似微处理器所常见的一些特性，可以与普通 RISC 的 MCU 相媲美。如图 4-2 所示为 OMAP 架构的处理器和 Blackfin 系列处理器的对比：OMAP 系列的处理器内部为 ARM 和 DSP 的双核结构，ARM 内核负责运行嵌入式操作系统、应用软件等；C5X 负责视频、图像处理。而 Blackfin 系列的处理器，可以同时运行嵌入式操作系统、上层应用和进行一般的信号处理。 而 Blackfin 系列 DSP 处理器中 BF561 更是采用了对称多处理的

11、架构，在一颗 BF561芯片内部集成了 2 个 BF533 DSP 内核，如图 4-3 所示：BF561 主频高达 600M，并且支持并行处理，保证了其强大的数字信号处理能力，并且支持低电压低电流供电。能够满足多功能的数字消费类产品对于性能、功耗方面的要求。BF561 灵活的多处理架构能够支持多种工作模式，如图 4-6 所示：第一种模式（DSP + RISC），BF561 内部的 2 个核可以分为，一个可以用来进行信号处理；而另外一个则可以用来运行操作系统，进行以太网传输，以及其他控制相关的任务。第二种模式（PURE DSP），在信号处理过程中，可以将 1 个任务交给 2 个不同的核去处理，奇

12、数帧由 Core A 完成，偶数帧由 Core B 完成；或者 2 个不同的任务也可以由Core A 和 Core B 分别完成。处理器的性能得到了成倍的提高。基于 Blackfin 系列 DSP 的应用实例（1）IP 机顶盒基于 Blackfin+MCU/uClinux 架构的嵌入式 IP 机顶盒的解决方案：其中，32 位 RISC MCU 负责运行嵌入式 linux，进行无线局域网 /以太网传输、硬盘存储、音频编解码、文件管理以及控制等方面的处理。MCU 从网络接收到的媒体流，可以作为存储到硬盘或者通过 SPI 接口（速率可达 12Mbps）传给 BF533，BF533 专门负责H.264

13、D1 格式的视频编解码。功能模块如图 5-2 所示：（2）可视 VoIP 电话随着多媒体技术和通信技术的快速发展，目前单一的语音通信方式已经不能够完全满足人们的通讯要求，人们迫切需要改善通讯方式。可视 IP 电话可以利用网络双向实时传输通话双方的图像和语音，达到面对面交流的效果。随着目前宽带接入的普及，为可视电话的推广和发展提供了一个很好的基础。下面给出了一个基于 BF533 和 ARM9(400MHz) MCU 的可视 VoIP 电话解决方案： 硬件方面： SAMSUNG S3C2440 (400MHz) ADI BF533(600MHz) TFT LCD(3.5” 以上) FLASH SD

14、RA CCD 摄像头 视频 A/D 音频 A/D 音频 D/A 以太网 MAC+PHY 芯片 软件方面： ARM9(400MHz)支持： 操作系统（Linux ） 视频解码（H.264、MPEG4） 音频解码（G.711、G.723.1、G.729 、MP3） 以太网通讯（TCP/IP 协议栈等） H.323 协议栈 图形用户界面（GUI） ADI BF533 支持： 视频采集编码（H.264、MPEG4 ） 音频采集编码（G.711、G.723.1、G.729 ） 回音消除 通过上面使用 ARM9+BF533 以及相关的软件支持，我们可以实现以下功能：在局域网和广域网内进行音视频的电话对讲

15、多媒体娱乐功能：可以播放 MPEG4 视频和 MP3、WMA音乐 支持 email 服务 支持 SMS、MMS 短信 支持软件盘、手写输入 可外接键盘和鼠标 可视电话的基本结构和核心技术： 1 可视电话的基本结构包括： 视频输入 /输出模块，视频编解码器 音频输入 /输出模块，音频编解码器 延时单元 数据处理、存储单元 系统控制单元 网络界面单元 2 可视电话的核心技术： 语音和视频压缩技术视可视电话的核心技术。可视电话作为通信终端产品，必须保证足够好的语音和视频质量，同时占用的带宽要尽量小。语音和视频压缩技术的发展目标就是：在保证压缩后的语音和图像质量的同时，尽量提高压缩率。 2.1 语音编

16、码技术语音通信视可视电话最基本的功能。受网络条件的限制，可视电话不可能占用太大的带宽。为了适应低码率语音通信的要求，ITU-T 推出了 G.72X 系列语音压缩标准。其中G.723.1、G.728、G.729 和 G.729A，在 IP 电话中得到了广泛应用。不同的语音压缩标准所采用的技术提供不同的码率、时延和语音质量。 2.2 视频编码技术原始的视频数据需要占用非常高的带宽, 如果需要通过网络传输必须在保证在一定的图像质量的前提下通过压缩技术尽量降低视频资料的码率,以适应不同的网络条件 .因此视频压缩算法的效率决定了可视电话的图像质量和应用前景。目前在网络监控、视频点播的应用中，MPEG4

17、格式的视频压缩算法较为流行，其码率一般在数百 Kbps 到 1Mbps 左右。ITU-T 推出的低码率视频压缩标准对推动可视电话的发展和实用化起到了重要的促进作用。H.261 是 ITU-T 推出的第一个低码率视频压缩标准，码率为 p64kbit/s，其中 p=130，图像格式为 CIF（352*288）和QCIF（162*144）。目前 H.264 的算法能够将同样的视频压缩到更低的码率，但其计算复杂度也大大增加。相信随着 DSP 芯片处理能力的进一步提高，H.264 网络视频传输方面的应用将越来越流行。 2.3 通信协议为保证可视电话在网络上可靠的通信, 不同的终端必須运行统一的通信控制协

18、议來保证相互协同工作。ITU-T 推出的 H.320/323 标准，面向不同的网络,不同的网络介面，不同的信令过程，以及为适应不同的网络而优化设计的包结构。复用协定规定了视频资料、语音资料等的打包标准，而控制协定的作用是在终端之间些商通信方式，如视频编码标准的协商，语音编码标准的协商，通道带宽的协商等。基于以太网的可视电话通常采用 H.323 控制协定。 3 基于 ARM9+BF533 的解决方案 目前 ARM9 系列的处理器在手持终端上的应用如 PDA、Smart Phone、PMP 产品上已经有了非常广泛的应用，在可视电话上也有非常明显的优势。 3.1 语音和视频编码语音和视频编码需要非常

19、强的数学运算能力，通常采用 ASIC 芯片或通用 DSP 来实现。ADI BF533 具有非常强的运算能力，完全能够满足视频压缩的要求，并且具有非常强的灵活性，通过软件可以灵活满足产品升级的要求和针对网络带宽调整压缩率。 BF533 接受从 CCD Sensor 采集的视频码流，从 Microphone 采集的语音码流分别进行压缩，压缩后通过 SPI 接口传送给 ARM9 芯片。 3.2 语音和视频解码ARM9 在 400MHz 的主频下完全能够直接进行音视频的解码播放，而无需再传送给DSP 做解码播放，大大降低了 DSP 的负担和系统的复杂程度。 3.3 网络传输、通信协议ARM9 通过嵌入

20、式 Linux 能够很好的支持 TCP/IP 协议，可以通过 local bus 扩展以太网。基于 Linux 也可以实现 H.323 协议，并且占用很少的 CPU 处理能力。 3.4 用户界面ARM9 内置 LCD 控制器，可以支持较高分辨率的 TFT LCD，用来显示本地和解压后的图像。并且基于 Linux，华恒科技已经在 ARM9 的平台上普遍的实现了Microwindows、Minigui 等嵌入式 GUI 的支持，可以实现较为完备的图形用户控制界面。另外，ARM9 内置了 1 到 2 个 USB 接口，可以接 U 盘进行数据交换，或者扩展 USB键盘以及通过 USB 接口与主机相连，配置可视电话的工作模式。并且可以支持RTC、Watchdog，以及通过 GPIO 扩展按键等。从上面应用中不难看出，ADSP 系列处理器在嵌入式网络多媒体中的应用有着显著的优点： 性价比高，体积小，功耗低，外围接口电路设计简单。