基于流媒体技术的网络化嵌入式视频监控系统.pdf

《基于流媒体技术的网络化嵌入式视频监控系统.pdf》由会员分享，可在线阅读，更多相关《基于流媒体技术的网络化嵌入式视频监控系统.pdf（5页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第11卷第2期2004年4月工程设计学报J ournal of Engineering Design Vol.11 No.2 Apr.2004 基于流媒体技术的网络化嵌入式视频监控系统陈耀武，伍鹏，汪乐宁(浙江大学仪器科学与工程学系，浙江杭州310027)摘要:视频监控系统是日常牛产牛活中的重要辅助设备，提出并研究设计了基于流媒体技术的网络化嵌入式视频监控系统.以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心进行系统设计.系统通过DSP处跑器进行视频信号的MPEG4数据压缩，在嵌入式处理器上采用流媒体技术通过网络传播实时视频流.详细论述了系统设计、硬件设计和软件设计，并给出了

2、实际运行结果.关键词:视频监控系统;流媒体，MPEG4，嵌入式系统中图分类号:丁P3l;丁P36文献标识码A文章编号:1006-7 54X(2004)02-0057-05 Stream media technology based network embedded video monitoring system CHEN Yao-wu,WU Per鸣，WANG Le-yu(Department o Instrume口tationScience&.Engineering,Zhej归口gUniversi町，Hangzhou 310027,China)Abstract:丁hevideo monito

3、ring system is an importa口tassista口tdevice in our life.A network embedded video monitoring system based on the stream media technology is presented and devel oped.丁hesystem is designed of the embedded processor,the DSP processor and embedded Linux operating system.丁hevideo compression part of the sy

4、stem is based on the MPEG4 algorithm via the DSP processor,while multicasting the real time video stream to the network based on the stream media technology via embedded processor.丁hesystem design,hardware design,software desig口，and the practical operating results are discussed in detail.Key words:v

5、ideo monitori口gsystem;stream media;MPEG4;embedded system 视频监控系统是日常生产生活中的重要辅助设备，应用十分广泛.当前视频监控系统正逐步由模拟化走向数字化.随着视频压缩技术和网络技术的发展，开发新一代的基于计算机网络和多媒体MPEG4压缩算法的视频监控系统己成为整个行业技术发展的主要方向之一1.2J本文提出并研究设计了一种基于流媒体技术的网络化嵌入式视频监控系统.该系统采用目前计算机领域最为活跃的嵌入式系统技术，以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心对嵌入式视频监控模块进行设计，并采用流媒体技术，通过IP多播

6、技术、RTP/RTCP协议以实时传送视频监控流.该系统跟传统的模拟监控系统和基于PC组合l改稿日期:2003-11-06.基金项目:国家863计划资助项目(2003AA1Z2130).的计算机数字监控系统相比有以下优势:(1)布控区域广泛.嵌入式数字监控系统的服务器和终端设备可直接连入网络，没有线缆长度和信号衰减的限制，同时网络是没有距离概念的，因此彻底抛弃了地域的概念，扩展了布控区域.(2)可组成非常复杂的监控网络.如果采用基于嵌入式流媒体服务器为核心的监控系统，由于流媒体服务器输出己完成模拟到数字的转换并压缩，采用统一的协议在网上传输，支持蹄网关，夺路由器的远程视频传输，所以其在组网方式上

7、和基于PC平台的监控方式有极大的不同，能支持更为复杂的监控网络.(3)性能稳定可靠，无需专人管理.嵌入式数字监控系统用嵌入式实时多任务操作系统，视频压缩和流媒体服务功能集作者简介:陈耀武0963-)，男，辽宁铁岭人，教授，博士生导师，博士，从事仪器系统设计、信号处理和智能信息处理等研究，h万部L黯mail:cywmail.bme.zju.edu.c口.58 工程设计学报第11卷中到一个体积恨小的设备内，直接连入局域网或广域网，即插即看，系统的实时性、稳定性、可靠性大大提高.所以，无需专人管理，适合于无人值守的环境.1 系统的设计原理1.1 系统总体设计基于流媒体技术的网络化嵌入式视频监控系统如

8、图1所示.安装在现场的嵌入式视频监控模块从摄像头获得原始的视频信号，经过硬件压缩成MPEG4视频数据，然后通过流媒体服务器转换成流媒体格式，从以太网接口实时传送到计算机网络上;实时监控客户端连接到计算机网络上，从嵌入式视频监控模块获得MPEG4视频数据，通过流媒体视频播放软件实时地解压MPEG4视频数据并播放，而且该系统支持多客户端同时监控.存)I;tl;1、千J千i1!-i:J lj川1.(1,;:Jj 入图1系统总体结构图有(1汕iFig.1 Structure o the system 1.2 嵌入式视频监控系统硬件设计嵌入式视频监控系统的硬件主要分为两大部分:DSP视频硬件压缩子模块和

9、嵌入式处理器子模块.DSP视频硬件压缩子模块以美国ANALOGDEVICES公司最新推出的DSP处理器BlackfinBF5335J为核心，实现硬件的MPEG4视频数据压缩.Blackfin BF533是一款新型的高性能、低功耗的音视频DSP，其片内有Blackfin处理器核，主颇高达600MHz，完全适合MPEG4等复杂音视频的压缩运算;并且片上的增强型动态电源管理模块实现了极低功赞单且在决方案，所以该DSP主要面向消费类电子、音视频处理、VoIP等应用领域.在BF533芯片外围扩展了1Mbyte闪存(Flash)，用于存放MPEG4视频压缩算法程序代码和参数变量;扩展32 Mbyte的同步

10、动态数据存储器(SDRAM)，用于存放数据和运行程序.嵌入式处理器子模块需要运行嵌入式操作系统和嵌入式流媒体服务器，并扩展本地MPEG4视频数据回放，所以选用了IN丁EL公司的最新嵌入式处理器XScalePXA261 6J作为整个系统的控制.PXA261是XScalePXA26x新系列中的一款高度集成化的嵌入式处理器，它集成了IntelXScale Mi croarchi tecure处理器核心，16Mbyte的片内闪存，LCD控制器，USB从端控制器，12S,SSP,AC97等一系列多媒体处理模块.由于其高度的集成性和低功耗特性，PXA261十分合适多媒体处理、手持设备、PDA等应用领域.在

11、PXA261周围还外扩了32Mbyte的SDRAM用于存放数据和运行程序;外扩了USB主端控制器，这样可以为系统加入多种USB设备;外接LCD控制器可以本地回放视频数据和提供人机交互;外扩的以太网接口可以实现视频网络传输的需要.图2表明了整个硬件系统的框架结构和数据流程.首先通过摄像头获得原始视频信号，送入视频A/D采样输入BlackfinBF533作MPEG4压缩;然后BF533把压缩得到的MPEG4数据通过高速SPI接口送入XScale嵌入式处理器;运行有嵌入式Linux操作系统的XScale处理器把MPEG4数据转化为流媒体数据格式，通过以太网接口传送到计算机网络.XScale嵌入式处理

12、器通过串口向DSP发送命令.图2嵌入式视频监控模块硬件结构图Fig.2 Hardware structure o the embedded video monitoring module 1.3 嵌入式视频监控系统软件设计在该系统高性能的硬件基础上，嵌入式视频监第2期陈耀武，等:基于流媒体技术的网络化嵌入式视频监控系统 59 控系统软件包括两个大的层次:嵌入式Linux操作系统和嵌入式流媒体服务器软件(不包括DSP固件MPEG4压缩算法程序)，如图3所示E嵌入式比媒体服务实月才原始MPE(j4DSP:I空L 视iJMiAl视频数据制吧令王三-一-一1-.-一Linnx?始作系统陋件才去11Lj

13、JI.J(而速布置SPT SPT 马E五:J驱葫程!卡世)1lackfin DSP 图3嵌入式视频监控模块软件结构图Fig.3 Sohware structure o the embedded video monitoring module 嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化，具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含丁CP/IP协议枝，以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富，为嵌入式软件开发人员提供了良好的

14、开发平台.硬件驱动程序位于嵌入式Linux操作系统之中，是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块，这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分.首先通过串口驱动程序来设置DSP的压缩过程并启动压缩，接着通过高速SPI驱动程序获得DSP明强草MPEG4数据，转换其为适于流式传输的数据后通过基于IP多播技术的实时传输协议R丁PCrealtime transfer protocol)、实时传输控制协议RTCPC

15、RTP control protocol)、会话描述协议SDP Csession description protocol)4等一系列标准的IP实时多媒体数据传输协议传送到网络上.1.4 嵌入式流媒体服务器软件详细设计嵌入式流媒体服务器整个软件采用C十十语言编写，图4是该软件的静态UML类图设计.|cs句FileI 一|CMedi且Node图4嵌入式流媒体服务器静态UML类图Fig.4 Static UML class diagram o the embedded stream media server 如图4所示，整个系统其实就是由CMediaFlow类所代表的视频媒体数据流.数据流由一系列

16、节点串连而成.抽象类CMediaNode类抽象代表这些一系列的节点，每一个节点其实就是一个线程，而每个线程都有一个消息队列CCMsgQueue类)，用来接受相应的消息CCMsg类)作出处理动作.具体来讲，CMediaSource类派生至CMediaNode类代表所有数据流源头的节点，也就是数据流的入口点.同样的，CMediaSink类也派生至CMediaNode类代表所有数据流的接受节点，可以用来表示数据流的出口点.CMediaFrame类代表这个数据流中真正的数据，它从数据源流向数据流的出口.CVideoSource 类是派生至CMediaSource类，代表视频数据的入口点，它调用嵌入式L

17、inux操作系统的SPI驱动未获得实时的视频数据.CRtp丁ransmitter类派生至CMediaSink类，代表视频数据的出口点，它封装了 60 工程设计学报第11卷对网络R丁P/R丁CP协议的操作，把视频数据流直接发送到网络上.CHttpServer类实现了一个简单的H丁丁P服务器的功能，主要是可以通过H丁丁P协议传送SDP文件给客户端，客户端获得SDP文件后就可以根据SDP文件的描述信息来获得视频流的IP多播包.CSdpFile类实现了对SDP会话描述协议文件的操作，根据当前的视频流配置信息产生SDP文件.图5为嵌入式流媒体服务器软件UML动态序列图.具体的动态流程描述如下:(1)系统

18、初始化过程.程序入口mal口函数首先创建CMediaConfig类对象pConfig，并从配置文件It1iLialiL.e HpConfig.-llewPCol1tg):t目pFIDW 1.-1-nc飞、AddSink Sta 了【飞ideot t t t t t t t t t E F nc飞飞tart:川里获得配置信息而初始化该对象.pConfig对象里面包含了整个系统的配置信息，比如视频源类型、视频压缩编码器类型、网络传输的设置等等.根据pConfig对象的配置来创建类CMediaFlow的对象pFlow，并且Start这个数据流.pFlow对象会去创建视频数据源对象CVideoSour

19、ce和数据流的出口对象CRtpTransmitter.用CVideoSource的AddSink操作告诉CRtp丁ransmlter类的对象是数据源的接收者.启动CRtp丁ransmitter的对象，同时创建CSdpFile类对象，并通过GenerateSdpFile操作来产生SDP描述文件.创建CHttpServer类对象，并启动H丁丁Pserver服务，提供SDP文件下载.Start i气川)一-1-E-,t t t t t t t t t t 万方数据pl lf l Stop Stop rll1Cfl d_dc1ct)-.StopThr礼d.d.;leteDc;lete趴Iprile.d

20、eleteStopThrl;ad:dc;!l;t巳deleLe 图5嵌入式流媒体服务器动态UML序列图Fig.5 Dynamic UML seque口cediagram o the embedded stream media server 第2期陈耀武，等:基于流媒体技术的网络化嵌入式视频监控系统 61 (2)视频流处理发送过程.pFlow对象调用CVideoSource类对象的StartVideo操作来启动视频流.从SPI驱动获得MPEG4的数据帧，接着创建CMediaFrame类的对象pFrame，用ForwardFrame操作把MPEG4数据帧送入接受者CRtp丁ransmitter类的

21、对象.CRtp丁ransmitter类的对象调用DoSendFrame函数通过网络发送该MPEG4数据帧.CVideoSource类对象通过RealseFrame操作释放该MPEG4数据帧，并销毁pFrame对象.重复以上过程就可以得到连续的视频流数据.(3)中止该视频流的过程.Main函数调用pFlow对象的Stop操作来中止该视频流.pFlow对象会依次去停止和销毁CVideoSource类对象和CRtp丁ransmltter类对象，删除SDP文件，销毁CSdpFile类对象，停止和销毁CHttpServer类对象.Main函数销毁pFlow对象，销毁pConfig对象并结束程序.1.4

22、客户端视频监控软件的设计由于服务器端采用标准的R丁P协议，客户端播放软件只要遵循该协议，就可以获得视频流.服务器端采用IP多播技术，只需发送一份数据包就可以支持多客户端同时监控，而不会增加服务器的负担.一般来说，客户端只要安装有与DSP的MPEG4压缩算法相应的解码器，然后使用RealO町等标准播放软件都可以作视频流的播放了.也可以根据R丁P协议，自己编写客户端播放软件来进行视频监控.2 系统实践该系统己经在实验室和一些现场进行过系统实践，如图6和图7的屏幕截图所示.3结论根据当前计算机网络技术和视频数据压缩技术的发展现状，提出并研究设计了一个基于流媒体技术的网络化嵌入式视频监控系统.该系统以

23、高速发展的嵌入式网络技术为核心进行设计，具有很好的可靠性和性能价格比.该系统在一定应用场所己得到了试验应用.h万数据Duration:一日巳二45ar飞图6视频播放器截图Fig.6 Screen shot o the video player,11-.1:11C.5ptlJte 1:26/live,;矗问咽啕11 I .图7RealOne播放器屏幕截图Fig.7 Screen shot o the RealOne player 参考文献:lJ GREIFFENHAGEN孔!，CO孔1ANICIUD,NIE孔1ANNH,et al.Design,analysis a口de口gineeringo

24、video momtonng systems:a口approachand a case study.Proceedings of the IEEE,2001,90(10):1498-1517.2J Zingiri且口BaglieUoMaresca,Migliardi.MP EG Coding of Highway Monitoring Video SequencesM.Univer sity o Ge口。且，haly:Internal Report DIS丁，1996.3 J SCHULZRINNE H,CASNER S,FREDERICK R,et al.R丁P:a tra口sportpro

25、tocol or real-time applica t10日s.RFC 3550,2003.4J HANDLEY M,ACOBSON V.SDP:sessio日descript10日protocol.RFC 2327,1998.5 J ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfin Embedded Processor Preliminary Data SheetM.Ana log D们ices，Inc,2003.6J Intel Corporation.Intel PXA26工ProcessorFamily Developers ManualMJ,2003.