1、2008年9月第31卷第3期湖南师范大学自然科学学报Journal of Natural Science of Hunan Normal UniversityV0131 No3Sep，2008基于H264编解码UDP协议网络摄像机的实现兰 浩1，徐瑶2，李仲阳1，易 国1(I湖南师范大学工学院，中国长沙410081；2国防科技大学光电工程学院，中国长沙410073)摘要论述了UDP协议的工作原理，以开源H264算法为核心，研究了H264编解码算法在Pc机及编码算法在DSP芯片上的应用实现了基于UDP协议的Pc和DSP的T264编解码网络摄像机的功能，获得了良好的效果关键词UDP；H264；编解
2、码；DSP中图分类号TN91981 文献标识码A 文章编号1000-2537(2008)03-0042-05Design of Network Cameras Using U DP Protocol Basedon H264 Encoding and DecodingAN Ha01，XU Ya02，12 Zhongyanl，YI Cu01(1PolyTechnic College，Hunan Normal University，Changsha 410081，China；2College of optie and Electronic Enginetting，National Universi
3、ty of Defence Technology，Changsha 410073，China)Abstract Based on principle of the UDP protocol using the opensourced H264 algorithm as core，theH264 encoding and decoding algorithm in PC and DSP Was discussedNetwork cameras using UDP protocol basedon H264 Was designedKey words UDP；H264；encode and dec
4、ode；DSPUDP和TCP协议的主要区别是两者在如何实现信息的可靠传递方面不同虽然TCP协议中植入了各种安全保障功能，但是在实际执行的过程中会占用大量的系统开销，无疑使速度受到严重的影响UDP由于排除了信息可靠传递机制，将安全和排序等功能移交给上层应用来完成，极大降低了执行时间，使速度得到了保证在包括视频电话会议系统在内的许多应用都证明了UDP协议的存在价值H254【2剖是一种高性能的视频编解码标准，应用覆盖面很广，如：远程监控、视频会影电话、远程医疗、视频点播直播、远程教育等计算机应用系统；高清电视、数字机顶盒、个人硬盘录像、数字电视等消费类电子产品；253G的无线视频、移动多媒体通讯等通
5、讯领域，军事航空侦察、巡航导弹、单兵作战侦察指挥系统等军事应用领域本工作完成了基于UDP协议的PC和DSP的，12“编解码网络摄像机1网络摄像机的系统构成系统采用TMS320DM64Xt*1 DSP或PC机进行远程图像采集、编码，编码码流经TCPIP协议网络传输到PC机进行解码并显示系统框架如图l所示从摄像机输出的模拟信号通过AD转换成数字视频信号，TMS320DM642对数字视频信号进行H264收稿日期：2008-07-12 基金项目：湖南省自然科学基金资助项目(08JJ3131)作者简介：兰浩(1974-)，男，湖南长沙人，湖南师范大学工程师，硕士研究生，研究方向为电子技术和数字图像处理第
6、3期 兰浩等：基于H264编解码UDP协议网络摄像机的实现 43编码，生成的H264码流打包成网络包，运用TCPIP协议，通过局域网或因特网发送出去，解码器接收到网络包可以解码还原出视频信号基于H264优化编解码器技术构建的数字视频监控系统直接支持网络视频传输和网络管理，使得监控范围达到前所未有的广度基于H264优化编解码器技术的数字视频监控系统的优点是提供清晰的、高质量视频，且网络带宽占用小，可实现CIF(352288)、QCIF(176144)窗13大小的监控|cc。摄触，H视煮害糍扣|LcD液晶显示屏H视蒯淼换卜TI nI$320DM642lYSPH26I编码码流嘲络输出卧凸IIF【!二
7、竺卜+ 码流网络输入 计算机H264解码I解码后图像显示器显示I图1网络摄像机的系统框架图2 I“264开源算法T2“中国视频编码自由组织联合开发的264编解码器特点是和)(264的出发点相似，并吸收了JM、)(264、XVID的优点编码器编码输出标准的264码流，解码器只能解他“编码器生成的码流本文就H2644刮的官方测试源码JMl02及f1264编解码器基于PC机进行了性能测试最常用的测试标准是峰值信号与噪声之比(PSNR)：9气气2PSNR=10loglo(萧)(1)式中MSE为原始和编解码后图像之间的均方误差；2552为图像中最大可能的信号值平方，表示每个像素8比特一般来讲，PSNR愈
8、高视频质量愈高，反之亦然视频测试分别采用foreman和mthr dotr两个序列进行对比，两个序列分别采用CIF和QCIF图像格式Foreman序列纹理复杂度一般，运动剧烈：画面人物和镜头均运动，还有场景的切换mthr_dotr背景简单，画面人物运动幅度不大21 JMl02编码器基于PC机的JMl02编码器性能见表1表1基于PC机的JMl02编码性能JMl02对V2 1-4个序列的解码总时间分别为：4469 8，5407 s，3125 s，3266 s；对应的解码速度：2238 fps，1849 fps，32 fps，306 fps44 湖南师范大学自然科学学报 第3l卷T264对以上4个序
9、列的解码速度为：12976 Ss，77 fps，48000印s，38363昂sT264在图像质量方面略输于JM，但速度上远远高于JM依据图像质量、速度及代码复杂度方面的考虑，本设计选用1264开源算法为PC解码及DSP编码的核心来实现3 PC机T264解码的实现他64开源算法仅提供输入H264码流文件，输出YUV(4：2：0)格式图像文件的处理要实现实时解码，需采用两个线程主线程用于码流解码，图像显示辅助线程用于接收UDP码流，并将码流辅传给主线程处理主线程和辅助线程之间的码流内存在处理时需进行同步和互斥操作以下是解码流程如图2所示1)解码端PC开始监听5010端口，当收到UDP码流时进行解码
10、并显示图像2)编码端PCWindows安装摄像头，及摄像头驱动程序；编码端PC设置视频采集格式为分辨率352288(CIF)，像素深度为RGB24格式，指定解码端PC的实际IP地址；将采集到的图像编码，码流通过UDP传送到指定地址的解码端4 T264编码的DSP实现本设计H264编码器基于DM642芯片采用北京瑞泰创新科技有限公司的ICETEKDM642一IDK-M图像处理系统该系统具有：4路标准视、gh鱼K叫吐皿丘。出业t孟矗丘b删藤怒蜀搋晰冀阜由崔齿空冈等待其亨内存空汨血l锁后”1挂收到的数据写八麸毕内存；托享内存解馈。让jo至出k：出一一一一一一一吨 关闭S0c融，l瞄占蠡曲d厶缸山k出
11、生占五五矗j占蟊Q釜奎图2 PC实现12“解码流程图频输入，PALNTSC制式或S端子，能实现图像采集；具有10100M网络接口，能实现网络传输和硬盘存贮功能加之处理速度快，能达到本设计要求以下是ICETEKDM642一IDKM图像处理系统硬件原理框图如图3所示第3期 兰浩等：基于H264编解码UDP协议网络摄像机的实现图3 ICETEKDM642-IDK-M原理图为了加速其高档DSP的网络化进程，rII公司结合其C6000系列芯片推出了TCPIP NDK(Network DevelopersKit)开发套件NDK的软件开发环境是的开发工具CCS(codecomposer studio)它包含
12、有实时操作系统DSWBIOS和主机与目标板之间的实时数据交换软件RTDX在CCS下使用NDK需要在以下几点上做特别处理：1)设置DSPBIOSPRD设置主时钟硬件抽象层的时钟驱动需要个100 Ins启动一次的PRD函数作为主时钟，函数名是11 TimerTick()HOOK为TCPIP协议栈设置保存的空间OS库的任务调度模块需要调用hook来保存和调用TCPIP协议栈的环境变量指针，这两个hook函数是NDKhooklnit()和NDK_hookCreate()2)包含文件和库文件先要利用DSP DDK和NDK的库函数将摄像头、网络初始化摄像头采集图像数据，AD转换成数字图像，对色差信号重采样
13、将YUV 4：2：2转为YUV 4：2：O格式，再将图像数据进行眨64编码，将编码流组包，通过TCPIP UDP协议输出到解码端其工作流程如图4所示将DSP端编码和PC端解码结合，DSP端指定PC端的地址，即可实现实时的DSP图像采集、编码、码流网络传输到PC机解码、显示实现效果图如图5所示3)代码优化【_M】由于DSP速度和优化问题，本设计采集QCIF(176144)格式的图像基本达到实时要求要取得更好的编码效果，还需对1264编解码代码做优化：C语言级的优化选择C64X开发环境提供的优化方式以及充分运用其他技巧，优化C代码汇编级的优化将上一阶段C程序中优化效率较低的部分提出来， 图4 TI
14、 TMS320DM642 DSP实现他64编码流程图湖南师范大学自然科学学报 第3l卷用线性汇编语言编写，利用汇编优化器进行优化汇编优化器的作用是让开发人员在不考虑C64X流水线结构和分配其内部寄存器的情况下，编写线形汇编语言程序，然后汇编优化器通过分配寄存器和循环优化将汇编语言程序转化为利用流水线方式的高速并行汇编程序5结论图5 TI TM$320DM642 DSP实现效果图QCW(176144)通过测试JM和他64开源算法的编解码性能，分析了1264编解码代码，并以此为核心，用Visual C+编写了基于PC端的摄像头采集、编解码、基于UDP协议的网络码流传输代码在CCS 6000环境用C
15、语言编写了基于DDK、NDK的摄像头采集、，12“编码、码流网络传输编码涉及很多的复杂的数学运算，在DSP端本文仅对QCIF格式的图像编码，因此需要做进一步的算法优化，使得可以更好地利用DSP片内资源，提高编码速度作为新一代的多媒体应用视频编码标准，H264采用了许多不同于以往标准的先进技术，在编码效率和性能大幅提高的同时，增强了错误恢复及网络自适应等功能，在广播电视、视频存储与回放、视频会议等领域具有广泛的应用前景参考文献：1】沈兰荪，卓力小波编码与网络视频传输M北京：科学出版社，200523 r11JT ReeonunendafionH263，“Video Coding for Low b
16、it rate Communication”SVersion 1，1995；Version 2，1998；Ver-8ion 3，20003余兆明图像编码标准H264技术M北京：人民邮电出版社，20064李方慧，王飞，何佩琨TMS320C6000系列DSP8原理和应用M2版北京：电子工业出版社，20055毕厚杰新一代视频压缩编码标准H264AVCM北京：人民邮电出版社，20056张彤宇，苏容，刘宝兰H264AVC视频编码器在DM642平台上的实现与优化J微电子学与计算机，2005，22(12)：1651687 陈梅芳基于TMS320DM642的H264解码器优化J现代电子技术，2006，10：1 121 158刘根林，陈健基于TMS320C6416芯片的H264编码器的设计和实现J数字电视与数字视频，2004，10：2孓25
