1、1基于 IMX6 的云对讲系统设计1引言随着网络技术，嵌入式技术和无线蓝牙技术的发展，它们被频繁的运用到人们日常生活中，为人们生活的安全便利提供了有利的技术支撑。本文所研究的就是基于嵌入式技术结合网络与蓝牙的智能家居系统。在现今的居民区、小区、办公写字楼等等场所，通常需要安装门禁，门铃对讲系统等等设备，这类设备不仅仅可以为人们的出入提供便利，另一方面这也加强了对物业的安全性能，可以减少人力安保，达到智能化管理。这种系统将会更加的安全可靠。二国内外发展现状文献1中孟利民介绍了一种无线可视对讲门铃系统，并对其中的关键技术全双工数字语音通信进行了设计和实现, 分析了数字语音在传输中的处理, 讨论了帧
2、结构的设计, 并在CPLD 中实现了无线可视对讲门铃系统的帧同步,最后对所做的样机系统进行了实地测试, 性能稳定、可靠,语音清晰, 具有很好的实用价值.文献2中文优梅利用 89C51 单片机设计了智能楼宇的可视对讲系统，其是通过分模块的方式将语音视频及传输等集成在单片机上。文献3中徐春航也介绍了单片机设计的对讲系统。文献4中 Taleb.T 在 2010 年提出了一种基于 IMS-HNB 的呼叫门铃系统.虽然在文中没有最后在实体上进行测试，但他提出了针对用户不在家时，利用 3GPP 网络使门禁设备连接用户的移动终端，例如手机，PDA 等等的思路，被后来的文献5的作者 Yeon-Joo Oh 发
3、扬光大，Yeon-Joo Oh 提出了使用 SIP 协议，将用户的终端 PCs，PDA 等通过网络连接门禁设备，并给出了详细的步骤说明。不得不讲，这与笔者的初步设想异曲同工。文献6-8也是国外部分学者利用前人思路进行了各领域的尝试。在已有资料中介绍了一款现今已在市面上销售的产品，叮咚 mini。叮咚 mini 的设计功能与笔者设计相似，但其功能较为单一，仅仅是更新了设备性能，并没有在技术上提出较为新颖的概念。 本文介绍的云对讲系统主要功能完成了：1.用户在家中的嵌入式终端实时双向视频通话；2.用户在手机 app 端实时双向视频通话；3.用户近距蓝牙呼叫开门。图 2.1 用户实时通话示意图2图
4、2.2 SIP 协议下的用户实时通话示意图2.1 IP 对讲系统的发展现状：随着网络技术和音频视频编解码技术的不断发展，可视 IP 电话的概念被人们提出来，并且在研究中取得了一定的成果。通常来说 IP 可视电话分为两种，一种是 PC 机终端，这种相对来说较为常见，例如 PC 机上许多的社交软件上都有视频通话技术支持；另一种就是嵌入式终端，随着嵌入式发展的深入，这种嵌入式终端越来越多的进入人们的视线，并慢慢的成为主要的研究对象。同类的嵌入式产品中，已有的技术是通过 1 片 MCU 外加 2 片DSP9-13设计而成。MCU 作为主要系统功能作用，而外加的 DSP 分别承担音频和视频的编解码功能，
5、但这种方法使得硬件和软件的设计变的较为复杂。也有单独使用 MCU 设计的方法14-16 ，如使用 IMX27、IMX51 等 ARM CortexA 系列，这类多媒体处理芯片集成度较高，支持了 G.711 音频和 H.264 视频编解码标准。此外 IP 网络电话（Voice over Internet Protocol，VoIP）是一种全新的网络服务，在 VoIP领域有两种协议，分别为 ITU-T 的 H.323 和 IETF 的 SIP。目前来说，通过 PC 打电话的用户相对较多，这种语音通话是通过软终端实现的，通话时必须使用耳麦，这不符合正常通话习惯，且对不熟悉 PC 的用户有较大困难。当
6、然目前市场上也有 IP 电话的终端设备，但大多都基于 H.323，个别也会支持 SIP，可它们的功能十分丰富，其代价就是高成本，普通用户在选购时会难以承受，普及率不高。本文就是参考 IP 软终端的优点，结合嵌入式技术，开发基于 SIP 的 VoIP 系统。2.2VoIP 基本原理和 SIP 协议2.1 基于 SIP 的 VoIP 电话原理简单说明：首先麦克风输入的人声模拟信号，经过 A/D 转换，进行 A-law G.711 编码，并采用 SIP 协议封装，自上而下分别以 RTP 传输协议、SDP 及 IP 协议封装打包，然后在网络上传输。接收时先将数据包存入缓存，将 IP、UDP 等底层协议
7、剥离后，根据 RTP 协议将语音数据包进行重组、拼合、解码解压缩，最后重新形成数字信号，送入 D/A 进行数模转换，最后在增益放大由耳机输出。2.2 SIP 协议初始化会话协议（Session Initiation Protocol，SIP）是由 IETF 组织提出的一种开放的 IP 电话信令协议。目的是解决 IP 网络中的信令控制以及与软交换网络的通信。它是一种基于文本的协议，可用来创建、修改以及终结多个参与者的多媒体会话进程。oSIP 是按照 RFC3261 标准（SIP 协议标准），使用 ANSI C 编写的开源协议栈。它结构简单小巧，支3持线程安全，可用于多线程及单线程的编程模式，可用
8、来开发 User Agent，Soft Phone和 SIP proxy。图 2.3 SIP 协议示意图3总体设计方案4图 3.1 总体方案设计图本设计主要是基于 freescale 最新发布的 i.MX6 开发板上进行的，对于开发板的硬件结构会在下章节具体讲到。首先智能家居的门禁系统在前文文中的文献中已有介绍，我们使用更加稳定的嵌入式设备；以太网连接可以解决远端用户的问题app 已实现接听视频及开锁等功能，在这里我们还会加入蓝牙技术，已实现用户近端手机端靠近门禁时，可自动连接蓝牙以打开门锁；门禁设备包括按钮呼叫，门磁感应，控制锁。在设计之中需要完成的是接口技术，以及嵌入式终端中主程序设计，蓝
9、牙程序，以及通过软件消除通话侧音等等。四IMX6 可视对讲系统设计方案：嵌入式 IP 可视电话终端，主要需要完成的功能是，采集和显示视频，采集和播放音频，传输音频和视频，而在传输过程中是通过数据流传输，那么就涉及到先将音频和视频编码在传输到位后再由另一端接收并解码。IMX6 是 Freescale 推出的一款 ARM Cortex A9 内核的高性能处理器。内部集成了视频编解码器、LP-DDR2,DDR3/LV-DDR3*32/64 控制器、NAND 控制器、以太网控制器和 LCD 控制器等，并具有丰富的外设接口5图 1.4 i.MX6 硬件图基于嵌入式 Linux 操作系统，提出了该终端的软
10、件架构，可以分为硬件层，底层，中间层，应用层。 硬件层即是 IMX6 多媒体处理芯片。 底层包括底层内部和底层软件，底层内部包括：作为接口连接摄像头的 I C 和 CSI，以及连接语音编解码器的 SSI 接口，2Flash，NAND，串行接口 UART 接口，以太网，键盘等等；底层软件则包含：系统根文件，linux 内核，Bootloader。中间层实际上主要是实现以下功能：视频编解码，音频编解码，视频采集和显示，音频采集和播放，网络实时传输这五个模块，但我们这里不需要自行编写程序来完成这五个功能，直接采用已有的 Linphone 软件，我们所需要的就是在 linux 环境下对 Linphon
11、e 进行编译，其中为了使 Linphone 完成中间层功能，我们还需要安装和编译相应的库，具体的将在后续文中介绍。 应用层即可视 IP 电话终端。图 1.5 IP 可视电话框架图4.1 视频和语音的双向实时传输6视频的采集和显示视频采集采用 Omnivision 公司的 COMS 图像传感器芯片 OV5640，该摄像头具有 500W像素自动对焦功能，支持 DVP,MIPI,CSI 接口，其通过 CSI 接口与 IMX6 相连，而芯片配置是通过 I C 接口实现的，视频显示是外接 LCD 屏。2视频采集和显示分为视频采集和视频显示两个子，这两个功能是基于 Linux 的 V4L2 架构实现的，在
12、在 linux 内核中分别映射的是采集和现实两个设备文件，那么我们只需要对这两个设备文件进行读写和操作就可以完成采集和显示的功能。视频采集子包括头文件 Video_captureh 和源程序文件 Video_captureC。4.2 视频编解码Imx6 内部集成了视频处理单元，该硬件视频加速器支持 30 帧/s 的 1080 视频解码，以及包括 H.264 在内的多种编解码协议。那么在视频编解码中也分为编码及解码，是基于底层 VPU 实现的VPU 在 Linux 内核中被映射为一个设备文件 视频编码子包括头文件 Video_encodeh 和源程序文件 Video_encodec 头文件中声明
13、的 7 个对外接口函数如表 1 所示，其中: encparam 是编码参数结构体，frmbuff 是帧缓冲地址结构体，vpucmd 是 VPU 操作命令( 枚举类型) ，encoutinfo 是编码后的输出信息结构体 视频解码子的设计与视频编码子相似，在其头文件中也声明了 7 个类似的函数4.3 音频编解码音频采集和播放分为音频采集和音频播放两个子，是基于底层 PMIC 和 Linux 的 ALSA架构实现的 选择 ALSA 架构的模拟 OSS 模式，该模式提供的配置接口以函数 ioctl( ) 实现，而音频采集和播放以函数 write( ) 和 read( ) 实现 音频采集子包括头文件 在
14、 Linphone 中编解码库 Mediastreamer2 编译，以上 1.2，1.3 的内容实现了视频和音频的编解码，其中介绍了 linux 内核中的对应设备文件及其使用方法，在 Linphone 的源码中实现这两个功能的语句是存在的，那么我们的主要目的是编译源码，在此基础上，我们需要先安装支持 Linphone 的 Mediastreamer2。Mediastreamer2 是一种强大的轻量级引擎,专门用于语音/视频电话应用程序。捕获和回放从各种平台依赖声音架构(ALSA - PulseAudio、AudioUnit、AudioQueue,WaveApi,WASAPI,Android A
15、udioTrack / AudioRecord,Android OpenSLES)。编码和解码音频格式如下:OPUS, speex, G711, GSM, 7iLBC, AMR, AMR-WB, G722, SILK, G729；编码和解码视频格式如下：VP8 (WebM), H263, H263-1998, MPEG4, theora 和 H264。具体的编译过程省略。4.4 网络实时传输网络实时传输基于实时传输协议( eal time Transport Protocol，TP) 实现 为了满足音视频传输的实时性要求，采用了 UDP 套接字接口来实现 UDP 套接字的编程接口主要包括 4
16、个函数: socket( ) :用于建立一个 UDP 类型的套接字描述符; bind( ) : 用于将 IP 地址和端口号绑定到套接字描述符上; sendto( ) : 用于通过 UDP 套接字的数据发送 ; recvfrom( ) : 用于通过 UDP 套接字的数据接收 网络实时传输包括头文件 Network_transmith 和源程序文件 Network_transmitc5蓝牙技术相关 蓝牙，是一种无线个人局域网（Wireless PAN），最初由爱立信创制，后来由蓝牙技术联盟订定技术标准。能在包括移动电话、PDA、无线耳机、笔记本电脑、相关外设等众多设备之间进行无线信息交换。利用“蓝
17、牙”技术，能够有效地简化移动通信终端设备之间的通信，也能够成功地简化设备与因特网 Internet 之间的通信，从而数据传输变得更加迅速高效，为无线通信拓宽道路。蓝牙采用分散式网络结构以及快跳频和短包技术，支持点对点及点对多点通信，工作在全球通用的 2.4GHz ISM（即工业、科学、医学）频段。其数据速率为 1Mbps。采用时分双工传输方案实现全双工传输。5.1 传输与应用蓝牙的波段为 24002483.5MHz（包括防护频带）。这是全球范围内无需取得执照（但并非无管制的）的工业、科学和医疗用（ISM）波段的 2.4 GHz 短距离无线电频段。蓝牙使用跳频技术，将传输的数据分割成数据包，通过
18、 79 个指定的蓝牙频道分别传输数据包。每个频道的频宽为 1 MHz。蓝牙 4.0 使用 2 MHz 间距，可容纳 40 个频道。第一个频道始于 2402 MHz，每 1 MHz 一个频道，至 2480 MHz。有了适配跳频（Adaptive Frequency-Hopping，简称 AFH）功能，通常每秒跳 1600 次。最初，高斯频移键控（Gaussian frequency-shift keying，简称 GFSK） 调制是唯一可用的调制方案。然而蓝牙 2.0+EDR 使得 /4-DQPSK 和 8DPSK 调制在兼容设备中的使用变为可能。运行 GFSK 的设备据说可以以基础速率（Bas
19、ic Rate，简称 BR）运行，瞬时速率可达 1Mbit/s。增强数据率（Enhanced Data Rate，简称 EDR）一词用于描述 /4-DPSK 和 8DPSK 方案, 分别可达 2 和 3Mbit/s。在蓝牙无线电技术中，两种模式（BR 和 EDR） 的结合统称为“BR/EDR 射频”蓝牙是基于数据包、有着主从架构的协议。一个主设备至多可和同一微微网中的七个从设备通讯。所有设备共享主设备的时钟。分组交换基于主设备定义的、以 312.5s 为间隔运行的基础时钟。两个时钟周期构成一个 625s 的槽，两个时间隙就构成了一个 1250s 的缝隙对。在单槽封包的简单情况下，主设备在双数槽
20、发送信息、单数槽接受信息。而从设备则正好相反。封包容量可长达 1、3、或 5 个时间隙，但无论是哪种情况，主设备都会从双数槽开始传输，从设备从单数槽开始传输。85.2 通讯连接蓝牙主设备最多可与一个微微网（一个采用蓝牙技术的临时计算机网络）中的七个设备通讯, 当然并不是所有设备都能够达到这一最大量。设备之间可通过协议转换角色，从设备也可转换为主设备（比如，一个头戴式耳机如果向手机发起连接请求，它作为连接的发起者，自然就是主设备，但是随后也许会作为从设备运行。）蓝牙核心规格提供两个或以上的微微网连接以形成分布式网络，让特定的设备在这些微微网中自动同时地分别扮演主和从的角色。数据传输可随时在主设备
21、和其他设备之间进行（应用极少的广播模式除外）。主设备可选择要访问的从设备；典型的情况是，它可以在设备之间以轮替的方式快速转换。因为是主设备来选择要访问的从设备，理论上从设备就要在接收槽内待命，主设备的负担要比从设备少一些。主设备可以与七个从设备相连接，但是从设备却很难与一个以上的主设备相连。规格对于散射网中的行为要求是模糊的。许多 USB 蓝牙适配器或“软件狗”是可用的，其中一些还包括一个 IrDA 适配器。5.3 蓝牙协议栈蓝牙被定义为协议层架构，包括核心协议、电缆替代协议、电话传送控制协议、选用协议。所有蓝牙堆栈的强制性协议包括：LMP、L2CAP 和 SDP。此外，与蓝牙通信的设备基本普
22、遍都能使用 HCI 和 RFCOMM 这些协议。1 LMP：链路管理协议（LMP）用于两个设备之间无线链路的建立和控制。应用于控制器上。2 L2CAP逻辑链路控制与适配协议（L2CAP）常用来建立两个使用不同高级协议的设备之间的多路逻辑连接传输。提供无线数据包的分割和重新组装。在基本模式下，L2CAP 能最大提供 64kb 的有效数据包，并且有 672 字节作为默认 MTU（最大传输单元）,以及最小 48 字节的指令传输单元。3 SDP服务发现协议（SDP）允许一个设备发现其他设备支持的服务，和与这些服务相关的参数。比如当用手机去连接蓝牙耳机（其中包含耳机的配置信息、设备状态信息，以及高级音频
23、分类信息（A2DP）等等）。并且这些众多协议的切换需要被每个连接他们的设备设置。每个服务都会被全局独立性识别号（UUID）所识别。根据官方蓝牙配置文档给出了一个 UUID的简短格式（16 位）。4 RFCOMM射频通信（RFCOMM）常用于建立虚拟的串行数据流。RFCOMM 提供了基于蓝牙带宽层的二进制数据转换和模拟 EIA-232（即早前的的 RS-232）串行控制信号，也就是说，它是串口仿真。5 BNEP网络封装协议（BNEP）用于通过 L2CAP 传输另一协议栈的数据。主要目的是传输个人区域网络配置文件中的 IP 封包。BNEP 在无线局域网中的功能与 SNAP 类似。6 AVCTP音频
24、/视频控制传输协议（AVCTP）被远程控制协议用来通过 L2CAP 传输 AV/C 指令。立体声耳机上的音乐控制按钮可通过这一协议控制音乐播放器。7 AVDTP音视频分发传输协议（AVDTP）被高级音频分发协议用来通过 L2CAP 向立体声耳机传输音9乐文件。适用于蓝牙传输中的视频分发协议。8 TCS电话控制协议二进制（TCS BIN）是面向字节协议，为蓝牙设备之间的语音和数据通话的建立定义了呼叫控制信令。此外，TCS BIN 还为蓝牙 TCS 设备的的群组管理定义了移动管理规程。TCS-BIN 仅用于无绳电话协议，因此并未引起广泛关注。9 采用的协议采用的协议是由其他标准制定组织定义、并包含
25、在蓝牙协议栈中，仅在必要时才允许蓝牙对协议进行编码。采用的协议包括：点对点协议（PPP）：通过点对点链接传输 IP 数据报的互联网标准协议TCP/IP/UDP：TCP/IP 协议组的基础协议对象交换协议（OBEX）：用于对象交换的会话层协议，为对象与操作表达提供模型无线应用环境/无线应用协议（WAE/WAP）：WAE 明确了无线设备的应用框架，WAP 是向移动用户提供电话和信息服务接入的开放标准。6总结 本文的设计是秉承了家居智能化的方向。现如今智能家居热度高涨，渐渐的成为了人们提高生活品质的新宠，市场也渐渐形成。所以对于产品的要求会越来越高，既要功能丰富强大，也要求本身质量过硬，稳定性好。另
26、一方面，成本价格上也需要符合普通用户的承受能力范围。本文的设计在硬件上基于最新的 ARM9 开发板，可以说在稳定性方面使用的技术更加优越。在功能上创新有蓝牙近端解锁，消除测音等等。在本次设计中，我也学习到了许多知识，感谢导师的指导以及师兄同学的帮忙。7参考文献1孟利民, 张明珊,无线可视对讲门铃系统中语音通信的设计与实现A,浙江：浙江工业大学学报，Vol.33 No.1,Feb.20052文优梅,智能楼宇可视对讲门铃系统设计A,长沙大学学报，Vol.25 No.2 Mar.20113徐春航，单片机与可视对讲门铃系统设计A，厦门,中国高新技术企业，NO16.2013, Comulativety
27、No.2594Taleb.T , kunz.A ,Schmid.S ,Bottazzi.D ,Call-Handing by an IMS-HNB based Interactive eDoorbell, IEEE APR18-21 ,2010 .Sydeny,AUSTRALIA.5Yeon-Joo Oh, Eui-Hyun Paik, and Kwang-Roh Park,Design of a SIP-based Real-time Visitor Communication and DoorControl Architecture using a Home Gateway,IEEE Tr
28、ansactions on Consumer Electronics, Vol. 52, No. 4, NOVEMBER 20066F.T.H. den Hartog, M Balm, and C.M. de Jong, “Convergence of residential gateway technology,” IEEE Communications Magazine, vol.42, no.5, pp. 138-143, May 2004.107Tarik Taleb, Dario Bottazzi, Mohsen Guizani, and Hammadi Nait-Charif,AN
29、GELAH: A Framework for Assisting Elders at Home,IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, VOL. 27, NO. 4, MAY 20098P. M. Corcoran, “Mapping Home-Network Appliances to TCP/IP Sockets Using A Three-Tiered Home Gateway Architecture,” IEEE Trans. Consumer Electron., vol. 44, no. 3, pp. 729-736,
30、Aug. 19989李君懿，赵利 基于 SIP 的嵌入式无线可视电话终端设计与实现J 电子技术应用，2008，34( 9) : 29 3110杨森，习勇，王丽洁 一种具有多跳功能的无线 Vo IP 终端设计J 现代电子技术，2010，33( 3) : 59 61; 6411郑子超 基于 SIP 的嵌入式音视频终端的设计 J 科技信息，2011( 33) : 63 6412黄月祥，陈盛云 基于 SIP 的嵌入式 VOIP 终端研究与实现 J 微处理机，2011，32( 4) : 62 6413金志涛，陈忠辉，陈新，等 VOIP 语音传输终端设计J 通信技术，2011，44( 4) : 140 14314赵伟 一种基于 i MX51 的嵌入式 Vo IP 终端的设计与实现D 苏州: 苏州大学，201115魏宏安，陈忠辉，徐艺文 嵌入式 VOIP 网络接口的设计 J 福州大学学报: 自然科学版，2011，39 ( 6) : 868 87216邵长彬，张重阳，郑世宝 基于 Android 的可视 IP 电话多媒体终端设计与实现J 电视技术，2011，35( 6) : 62 65研究生学位论文开题报告学位级别 硕士学位 学科专业 机械工程 姓 名 指导教师 入学年月 填表日期 年 月 日
