智能家居远程视频监控系统的设计与实现.pdf

《智能家居远程视频监控系统的设计与实现.pdf》由会员分享，可在线阅读，更多相关《智能家居远程视频监控系统的设计与实现.pdf（4页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第 2 2卷第 3期 2 0 1 2年 3月 计 算 机 技 术 与 发 展 COMPU TER T ECHNOLOGY AND DEVEL OPME NT V0 1 2 2 No 3 Ma r 2 0 1 2 智能家居远程视频监控系统的设计与实现 付蓉，严建亮(南京邮电大学 自 动化学院，江苏 南京 2 1 0 0 0 3)摘要：针对传统模拟视频监控中图像质量差、无法联网、不可移植等不足，设计了一种基于嵌入式 L i n u x的智能家居远程 视频监控系统。远程视频监控系统以 A R M(A d v a n c e d R I S C M a c h i n e s)处理器$3 C 2 4

2、4 0和 L i n u x操作系统为核心平台。在 内核中添加了各种所需的驱动程序，基于 V 4 的应用程序对 U S B摄像头进行图像视频采集，采用 T C P I P网络协议，进行 视频数据传输。主机端采用跨平台开发工具 Q t 开发应用程序，接收图像视频数据并显示图像视频。实验结果显示，能在 远程端看到清晰流畅的视频流，系统运行稳定可靠。关键词：视频监控；嵌入式；网络编程；智能家居 中图分类号：T P 3 6 8 2 文献标识码：A 文章编号：1 6 7 3 6 2 9 X(2 0 1 2)0 3-0 1 3 7-0 4 De s i g n a n d I m p l e m e n

3、t a t i o n o f Re m o t e Vi d e o M o n i t o r S y s t e m a t S ma r t Ho me FU Ro ng YAN J i a n-l i a ng (A u t o ma t i o n I n s ti t u t e，Na n j i n g U n i v e r s i t y o f P o s t s a n d T e l e c o m mu n i c a ti o n s，Na n j i n g 2 1 0 0 0 3，C h i n a)Ab s t r a c t：Ai me d a t s o

4、 me s h o r t a g e s o f t h e t r a d i ti o n a l s i mu l a ti o n v i d e o mo n i t o r，s u c h a s b a d q u a l i ty i ma g e，u n a b l e t o b e o n H n e，u n a b l e t o b e t r a n s p l a n t e d a n d S O o n，d e s i g n a s l n s r t ho me r e mo ti n g v i d eo mo n i t o r s y s t e

5、m b a s e d o n e mb e d d ed Li n u x Th e s y s tem U S C S e mb e dd ed mi c r o p r o e e s s o r ARM a n d Li n u x o pe r a t i n g s y s t e m a s the c o r e p l a tfo r m Ad d a l l the n e c e s s a r y d r i v e r s i n k e rn e 1 Th e a p p l i c a ti o n p r o g r a m o f V 4 L 2 c a p

6、t u r e s i ma g e d a t e b y u s i n g a US B c a l n e r a，and s e n d s the i ma g e d a t a b a s e d o n T C P I P Q t C I O S S p l a tf o rm d e v e l o p me n t t o o l i s u s e d b y h o s t c o mpu t e rt od e s i g n a a p p fi c a ti o nt O r e c e i v ei m a g eda t ean d d i s p l a

7、y t h e i ma g e Th e e x p e r i me n t a l res u l t s s h o w tha ty o u c a n s e e the c l e a ran d s moo th t h e v i d eo s t r e a m o n c o mp u t e r Th e s y s t e m r u n s s t e a dil y Ke y wo r d s：v i d eo mo nit o r；e mb e d d ed；n e t wo r k p r o g r a mmi n g；s ma r t h ome O 引

8、言 随着人民生活水平的提高和安全防范意识的增 强，视频监控系统以其直观、准确、及时和信息内容丰 富的优势，广泛应用于智能家居系统。视频监控经历 了模拟监控、数字监控及 网络监控三个主要阶段。传 统模拟监控在图像质量、监控范围、联网上有较大的局 限性，正逐 步淘汰。因此文中设计了一种基于嵌入式 L i n u x 的远程视 频监控系统。该系统以A R M处理器$3 C 2 4 4 0和 L i n u x 操作系统为核心平台，U S B摄像头采集视频数据，跨平 台开发工具 Q t 开发应用程序。实验结果表明，该系统 具有跨平台可移植性、能联网、稳定可靠、成本低廉等 特点，具有广泛的应用价值。收稿

9、 日期：2 0 1 1 一 o 7 3 1：修回 日期：2 0 1 1 1 1 0 4 基金项目：中国博士后基金(2 0 1 0 0 4 8 1 1 5 3)作者简介：付蓉(1 9 7 4 一)，女，副教授，博士后，研究方向为复杂电 力网络安全稳定控制；严建亮(1 9 8 7 一)，男，福建莆田人，硕士，研究 方 向为复杂系统 与网路控制。1 系统总体结构及软硬件平台 嵌人式视频监控系统总体结构功能分为三个部 分：远程端视频数据采集，P C终端的视频显示，以及远 程端和 P c终端的视频数据通信。远程端 U S B摄像头 负责视频图像数据采集，A R M开发板上基于 v 4 L 2的 应用程序

10、采集视频图像数据到内存，用 s o c k e t 编程发 送图像数据，客服端 P c终端 Q t 应用程序接收视频数 据并显示视频。这样就能实现远程视频监控了。视频 监控总体结构 1 5 如图 1 所示。(1)硬件平 台设计。开发板采用 飞凌公 司的 F L 2 4 4 0型 开 发 板，基 于$3 C 2 4 4 0 A 处 理 器，主 频 4 0 0 MH z，6 4 M 的 S D R A M，2 5 6 M 的 N A N D F L A S H。要 用到的主要配套外设有：一个 U S B H O S T，一个 1 0 0 M 网口(采用 D M 9 0 O O A E)。U S B

11、摄像头采用 V I M I C R O U S B P C C a m e r a(Z C O 3 O X)。(2)软件平台设计。嵌入式 L i n u x系统主要包括 b o o t l o a d e r、L i n u x内核和文件系统三大部分。内核版本 为 l i n u x-2 6 3 0 9。个人 P c机安装 L i n u x操作系统：-1 3 8 计算机技术与发展 第 2 2卷 u b u n t u 8 1 0，L i n u x操作 系统安装交叉编译 器 a r m l i n u x-g e c-4 3 2、Q t 的集成开发环境 Q t C r e a t o r 等

12、。应用程序 V i d e o f o r l i n u x(内 核视频处理模块)Q t 应用程序 I n t e r n e t 摄像头设备驱动程 US B 摄像头 L in u x 序 远程端：A R M 开发板P C 终端 图 1 视 频监控 总结构 图 2 基于 V 4 L 2的视频采集 2 1 V 4 L 2简介 L i n u x 下的图像应用程序设计一般都是基于 v i d e o f o r l i n u x开发，v i d e o f o r l i n u x简称 V 4 L，现在 已经发展 到 V 4 L 2。V 4 L 是 L i n u x 操作系统下用于采集图片

13、、视 频和音频数据的 A P I 接 口，配合适当的视频采集设备 和相应的驱动程序，可以实现图片、视频、音频等的采 集。在远程会议、可视电话、视频监控系统和嵌入式多 媒体终端中都有广泛的应用。v 4 I 2不仅为驱动程序的编写提供统一的接口，也 方便应用程序的编写和移植。它屏蔽了不同摄像头设 备的差异，应用程序不需要修改，就像 Q Q视频，大部 分摄像 头都能用就是这个道理。2 2 U S B摄像头驱动的安装 U S B摄像头驱动在 L i n u x内核配置。对于 L i n u x 内核，如果需要支持视频类设备，需要在终端模式下输 入 m a k e m e n u c o n fi g，

14、在 L i n u x内核配置界面中，配置 v i d e o f o r l i n u x和 v i d e o c a p t u r e a d a p t e r s项，并 进 入 到 v i d e o c a p t u r e a d a p t e r s 选择所使用的摄像头驱动。2 3 基于 V 4 L 2的 U S B摄像头的图像具体采集流程 基于 v 4【2利用 U S B摄像头进行图像采集，主要 的工作就是调用 V 4 给应用程序提供的接 I=I 函数，通过 v 4 L 2提供的接 口函数来调用 U S B摄像头驱动，完成图像和视频的采集功能。基于 v 4【2的 U

15、S B摄像 头的图像具体采集流程 如图2所示。视频图像采集应用程序主要是通过 i o c t l 函数和 相关的命令字来调用 V 4 L 2的：i n t i o c t l(i n t f d，i n t r e q u e s t，v o i d a r g p)；三个参数分别表示设备描述符、控制命令字和控 制命令参数。i o c t l 主要的命令字和对应功能如表 1 所示。2 4 基于 V 4 L 2的 U S B摄像 头的图像采集过程 应用程序申请若干个视频数据的帧缓冲区，这些 帧缓冲区在内核空间。应用程序再通过内存映射方法 图2 基于 V 4 L 2的 U S B摄像 头的图像具体

16、采 集流程 表 l i o c t l 主要的命令字和对应功能 命令字 功能 VI DI O C E NUM F MT VI DI O CQ U E R Y C A P VI DI O C RE QB U F S VI DI OC-Q UE R YB U V 1 D I O C Q B U F VI DI OC S T R E AMON V I D I O C D Q B U F V m I OC S T R E AMOF F 获取当前驱动支持的视频格式 查询驱动的修剪能力 分配内存 把V I D I O C R l B u F s中分配的数据缓 存转换成物理地址 把数据从缓存中读取出来 开始

17、视频显示 函数 把数据放回缓存队列 结束视频显示函数(m m a p)，将申请到的内核空间帧缓冲区的地址映射到 用户空间地址，这样就可以直接处理帧缓冲区的数据。在驱动程序处理视频 的过程 中，定义了两个 队列：视频 采集输入队列和视频采集输出队列，前者是等待驱动 存放视频数据的队列，后者是驱动程序已经放人 了视 频数据的队列。应用程序需要将上述帧缓冲区在视频采集输入队 列排队，然后可启动视频采集。启动视频采集后，驱动 程序开始采集一帧数据，把采集的数据放入视频采集 输入队列的第一个帧缓冲区，一帧数据采集完成，也就 是第一个帧缓冲区存满一帧数据后，驱动程序将该帧 缓冲区移至视频采集输出队列，等待

18、应用程序从输出 队列取出。驱动程序接下来采集下一帧数据，放入第 二个帧缓冲区，同样帧缓冲区存满下一帧数据后，被放 入视频采集输出队列，如图3所示：第 3期 付蓉等：智能家居远程视频监控系统的设计与实现 1 3 9 用 户 空 间 _ 一 内核 空 间 帧 缓 冲 图3 图像采集过程 应用程序从视频采集输出队列 中取出含有视频数 据的帧缓冲区，处理帧缓冲区中的视频数据，如存储或 压缩。最后，应用程序将处理完数据的帧缓冲区重新放 入视频采集输入队列，这样可以循环采集。3 视频发送与接收 3 1 L i n u x网络 应用程序设计模型 L i n u x 下网络应用程序的开发一般都基于 s o c

19、 k e t (套接字)来开发，s o c k e t 层位于 T C P U D P层之上，屏 蔽了T C P I P协议的细节，使得应用程序访问网络接 口 就像读写文件一样简单。通过 s o c k e t，大大简化了网 络应用程序的设计。3 2 面 向连接 的套接字应 用程序 流程图 这里使用面向连接的 T C P传输控制协议。面向连接的套接字工作过程 如下：服务器首先 服 务端 图4 面向连接的套接字应用程序流程图 启动，通过调用 s o c k e t 函数建立一个套接字，然后调用 b i n d将该套接字和本地网络地址联系在一起，再调用 l i s t e n 使套接字做好侦听的准

20、备，并规定它的请求队列 的长度。客户端在建立套接字后就可以调用 c o n n e c t 和服务器建立连接。服务 端调用 a c c e p t 返 回 一个 新 的套接字来接收连接。这 样，客户端和服务端就可以 通过调用 r e a d和 w r i t e 来发 送和接收数据。最后，待数 据传送结 束后，双 方调用 c l o s e 关闭套接字。面向连 接的套接字应用程序流程 图n “如图 4所示。所以，基于 V 4 L 2的应用程序拍完图像数据，直接 用 s o c k e t 客户端发送数据：w r i t e(s o c k f d，b u f f e r s b u f i n

21、 d e x s t a r t，b u f f e r s b l l f i n d e x 1 e n g t h)3 3 QT c p S e r v e r 类接收视频图像数 据 基于 v 4 L 2的应用程序拍完图像数据，并直接用 s o c k e t 客户端发送数据，P c终端上面的应用程序接收 图像数据并显示视频。这里的应用程序用 Q t 集成开 发环 境 Q t C r e a t o r开 发，接 收 数据 采 用 Q t里 面 的 Q T c p S e r v e r 类等实现，代替 s o c k e t 眼务端。3 3 1 Q t 简介 Q t 是一个完整的 C+

22、应用程序开发框架，它包含 一个类库和用于跨平台开发及国际化的工具。Q t 集 成开发环境 Q t C r e a t o r 类似 Wi n d o w s 环境下的 V c+。信号和槽机制是 Q t 的一个主要特征，在 Q t 中采 用信号和槽来实现对象部件之间的通信。这样的话，Q t 里面就很容易实现多线程编程。3 3 2 Q T c p S e r v e r 接 收视 频图像数 据 Q t 中用 Q T c p S ock e t、Q T c p S e r v e r 类 实现网络通 信，它们是在 s o c k e t 的基础上封装各种类，原理是基于 s o c k e t的。Q

23、T c p S e r v e r是 服 务 端 类。Q T c p S o c k e t是 T C P套接字类。基本流程如下：1)侦 听 Q T c p S e r v e r 1 i s t e n(Q H o s t A d d r e s s：A n y，5 0 2 3)，5 0 2 3 是端口号。2)有连接请求时，Q T c p S e r v e r 产生 n e w C o n n e c t i o n ()信号，调用 n e x t P e n d i n g C o n n e c t i o n()接受请求并返 回 Q T c p S ock e t，就可以用这个类进行

24、通信了。3)每收到一个数据包，Q T c p S ock e t 产生 r e a d y R e a d ()信号，调用 Q t c p S ock e t r e a d A l l()读取数据，存 到 Q B y t e A r r a y b y t e a r r a y 类 型数组 里。4)获取完整的一帧数据。Q t c p S ock e t r e a d A l l()读 取的数据并不是一帧数据，而是一帧数据的各个分段 部分，需要读到一个完整的帧大小才能显示。4图像视频显示 图像视频显示采用 Q P i x m a p类和 Q L a b l e 类。先 1 4 0 计算机技

25、术与发展 第2 2卷 调用 Q P i x m a p 1 o a d F r o m D a t e(b y t e a r r a y 2)函数 获取数 据，再加 载 到 Q l a b e l显示，Q hb e 1 s e t P i x m a p(Q P i x m a p)。当A R M远程端不断采集 图像数据，P c终端不断 接收并显示图像数据，就能在 P c终端形成视频流。5 系统结果与展望 通过超级终端下载采集应用程序到开发板 L i n u x 操作系统里。通过 p i n g 命令查看网络连接是否正常。打开 P c终端 Q t 应用程序，点击 S t a r t 按钮，服

26、务 端处于侦听状态，启动 A R M板上应用程序，就能在 P c 终端看到清晰稳定的视频流。本项 目的下一步工作是研究图像编码和解码，提 高帧传输速率，以提高清晰度。加入报警模块。A R M 处理器对图像进行处理，定位出人脸区域，提取出人脸 特征，并将 其与数 据库 中用户 的人脸 特征进 行 比 对，如果不符合，则立即通过 I n t e r n e t 向用户发送报 警 信息。6 结束语 文中详细分析了视频监控系统的具体实现步骤，从基于 v 4 L 2的应用程序图像采集，到使用 s o c k e t 发送 图像数据，以及最后的 Q t 的接收图像数据并显示图 像，从而实现了整个视频监控系

27、统。详细分析了基于 V 4 L 2的 U S B摄像头的图像具体采集过程 和采集流 程、面向连接的 s o c k e t 编程基本流程和 Q T c p S ock e t 类。嵌入式视频监控在安防系统中具有巨大的应用价 值。参考文献：1 唐人财，刘连浩 基于嵌入式 L i n u x 远程图像监控系统的 设计 J 计算机与现代化，2 0 1 0(1 1)：3 卜3 8 2 伍俭，罗桂娥 基于 B S 模式的嵌入式视频监控系统的 设计 J 微型机与应用，2 0 1 0(4)：7 4 7 6 3 杨念，李峰 基于 B S的嵌入式视频监控系统的设计 与实现 J 计算机工程与设计，2 0 0 8，

28、2 9(2 1)：5 5 7 6 5 5 7 9 4 李华毅 基于嵌入式技术的智能家居监控系统的研究与设 计 D 武汉：武汉理工大学，2 0 0 8 5 焦烙，易小波，李仁发 基于嵌入式 I n t e r n e t 的远程视频 监控系统设计 J 计算机技术与发展，2 0 0 9，1 9(5)：1 7 6 1 7 9 6 J i Wa n g k a n g，Y a n g J i a，H o n g Y o n g q i a n g B S P d e v e l o p m e n t 0 f W i n CE s y s t e m f o r v e h i c l e na v

29、i g a t i o n d e v i c e b a s e d o n S 3 C 2 4 4 0 C 8 t h L n t e ma t i o n al C o n f e r e n c e o n E l e c t r o n i c Me a s u r e m e n t a n d I n s t r u m e n t s S 1 ：S n ，2 0 0 7：3 8 9 3 91 7 D i r k s B，S c h i m e k M H，V e r k u i l H，e t a1 V i d e o fo r L i n u x T w o A P I S

30、p e c ifi c a ti o n(R e v i s i o n 0 2 4)S 2 0 0 8 8 洪毅虹，曹茜 L i n u x 下视频监控系统的研究与设计 J 电脑编程技巧与维护，2 0 1 0(1 8)：4 0 4 1 9 刘学勇，陈建伟 精通L i n u x C编程 M 北京：清华大学出 版社，2 0 0 9 1 O 华清远见嵌入式培训中心 嵌入式 L i n u x 应用程序开发标 准教程 M 第 2版 北京：人民邮电出版社，2 0 0 9 1 1 彭铁钢，刘国繁，曹少坤，等 基于 A R M的嵌入式视频监控 系统设计 J 计算机工程与设计，2 0 1 0，3 1(6)

31、：1 1 9 1 一 l 1 9 3 1 2 N o k i a C o r p o r a t i o n Q t 4 6：A l l Q t C l a s s e s C P D K 2 0 1 0 1 3 刘成，鲍 可进 基于图像处理 的嵌入式 自动报 警系统【J 计算机工程与设计，2 0 O 7，2 8(1 7)：4 1 9 8-4 1 9 9 (上接第 1 3 6页)极 的影 响。参考文献：1 陆汝钤 人工智能(上)M 北京：科学出版社，1 9 9 5 2 R i c h E A r t i f i c i a l i n t e l l i g e n c e M 8 1 _ ：

32、M c G r a w-H i l l，1 98 3：3 4 0-3 4 1 3 I ll i n g w o r t h V D i c ti o n a r y o f C o m p u ti n g M 4 t h e d O x f o r d：Ox f o r d Un i v e mi t y P r e s s，1 9 9 6 4 中国大百科全书 心理学 M 北京：中国大百科全书出 版社，1 9 9 1 5 王同忆 新世纪现代汉语词典 M 北京：京华出版社，2 0 01 6 R e e d D A b a l a n c e d i n t r o d u c ti o n t

33、 o c o m p u t e r s c i e n c e M 3 r d e d s 1 _ ：P r e n ti c e H al l，2 0 1 I 7 L a p e d e s D N Mc G raw-H i l l D i c t i o n a r y o f P h y s i c s a n d Ma t h e m a t i c s M N e w Y o r k：M c G raw-H i l l I n c，1 9 7 8：6 8 6 6 8 9 8 洪龙，陈燕俐，朱梧掼 8 0 4 8 6 极小指令集及其构造性证 明 J 南京邮电大学学报，2 0 0 6，

34、2 6(4)：5 7 6 4 9 T a n e n b a u m A S，S t r u c t u r e d C o m p u t e r O r g a n i z a t i o n M 4 t h e d 8 1 ：P r e n t i c e H al l。1 9 9 9 1 0 朱梧 贾，肖奚安 数理逻辑导引 M 南京：南京大学出版 社，1 9 9 5：6 3 7 8 1 1 B o u z y B，C a z e n a v e T C o m p u t e r g o：a n A I o r i e n t e d s u r v e y J A r t i fi c i a l I n t e l l i g e n c e，2 0 0 1，1 3 2(1)：3 9-1 0 3 1 2 N a r a y a n a n A O n b e i n g a m a c h i n e(v o l 2)：p h i l o s o p h y of a r t i fi c i a l i n t e l l i g e n c e M s 1 ：E l l i s-H o r w o o d L t d ，1 9 9 0