基于DM8168多路视频监控系统研制_郑亮.docx

《基于DM8168多路视频监控系统研制_郑亮.docx》由会员分享，可在线阅读，更多相关《基于DM8168多路视频监控系统研制_郑亮.docx（75页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、完成曰期 硕 士 学 位 论 文 题 目： 基于 DM8168多路视频监控系统研制 研究生 _ 郑亮 专 业 _ 电路与系统 指导教师 刘 敬 彪 教 授 2013年 12月指导教师签名 : 曰期： WVf年丨月 f H 论文作者签名 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，木论文不含任何其他个人或集体己经发表或撰写过 的作品或成果。对木文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。 中学位论文与资料若有不实之处，木人承担一切相关责任。 论文作

2、者签名 : 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定， B卩：研究生在校攻读 学位期间论文工作的知识产权申位屈杭州电子科技大学。本人保证毕业离校后，发表论文或 使用论文工作成果时署名单位仍然为杭州电子科技大学。学校冇权保留送交论文的 M印件， 允许查阅和借阅论文：学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。（保密论文在解密后遵守此规定 ） Ml基于 DM8168多路视频监控系统研制 杭州电子科技大学硕士学位论文 研究生：郑亮 指导教师： 刘 敬 彪 教授 2013年 12月 Dissertation Submitted

3、 to Hangzhou Dianzi University for the Degree of Master Research and Design Multi-channel Monitoring System Based On DM8168 Candidate: Zheng Liang Supervisor: Prof. Liu Jingbiao December, 2013 计算机领域各项技术的快速发展带动了整个视频监控行业的高速发展。本文根据实际的 需求设计与实现了多路视频监控系统。本视频监控系统的硬件平台是基于 TMS320DM8168 处理器，软件平台基于嵌入式 Linux操作系

4、统。整个系统在稳定性和可靠性等众多方面都具 有优势。本文主要讲述了以下几个方面的内容： (1) 分析了视频监控系统开发过程中使用到的相关理论知识，它包括音视频的编解码标 准、流媒体传输协议、音视频数据的网络封包技术以及 McFW软件架构。 (2) 介绍了本视频监控系统的总体设计方案，从硬件平台和软件总体方案两个方面进行 了论述。硬件平台是基于达芬奇系列的 TMS320DM8168多核处理器。软件平台是基于嵌入 式 Linux操作系统和 TI的 McFW软件框架，同时 利用开源 RTSP服务器 Live555实现网络传 输的功能。 (3) 搭建 DM8168的嵌入式应用软件开发环境，包括主机 （

5、 PC机）端和目标板 （ DM8168 开发平台 )端的开发环境。 PC机端开发环境的搭建主要包括在 PC机的 limix系统下安装 NFS、 tftp服务、交叉编译工具以及 DM8168的开发套件。目标板开发环境的搭建主要包括 uboot 的裁剪和编译、 linux内核的裁剪和编译以及根文件系统的制作。 (4) 设计与实现了多路视频监控系统的服务器端软件，主要包括视频采集模块、视频编 码模块、视频显示模块、视频存储模块以及网络传输模块的软件设计，实现了实时显示、视 频本地硬盘存储以及网络传输的功能。 (5) 设计与实现了多路视频监控系统的客户端软件，主要实现对视频监控系统的远程控 制、实时预

6、览、多通道画面切换以及 OSD字符叠加显示。客户端软件内部包括 RTSP交互模 块、 RTP数据接收模块、视频解码模块以及显示模块。 (6) 建立了视频监控系统的测试环境，对服务器端和客户端软件分别进行了测试。服务 器端主要测试了实时性、编码压缩性能以及网络传输性能。客户端主要测试了实时预览以及 延时的大小。测试结果表明本 系统设计的视频监控系统具有较好的本地实时预览的性能以及 网络传输延时小等特点。 关键词：达芬奇， TMS320DM8168， 视频监控， McFW,嵌入式 Linux ABSTRACT The rapid development in the field of comput

7、er technology led to the rapid development of the entire video monitoring industry. In this thesis, we designed and achieved a multi-channel video monitoring system based on actual demand. The hardware platform in this system is based on TMS320DM8168 processor, and the software platform is based on

8、embedded Linux operating system. The system has advantages in many aspects such as stability and reliability. This thesis is mainly about the following aspects: (1) It analysed the related theory knowledge in the process of the development of the video monitoring system. It includes audio and video

9、codec standard streaming media transfer protocol、 packet technology of the audio and video data and McFW software architecture. (2) It introduced the overall design scheme of the video monitoring system from aspects of hardware and software. The hardware platform is based on the DaVinci TMS320DM8168

10、 multi-core processor. The software platform is based on the embedded Linux operating system and TI McFW software framework, at the same time used open source RTSP server Live555 to realize network transmission. (3) It built DM8168 embedded application software development environment, including the

11、 build of host (PC) end and target board (DM8168 development platform) development environment. PC end includes installing of the NFS, TFTP services, cross compilation tools, as well as the DM8168 Development Kit under PCs Linux system. Target development environments build includes uboot cropping a

12、nd compilation, cropping of the Linux kernel and compilation and production of root file system. The building of target board includes cutting and compiling of uboot and linux kernel and realiztion of root file system. (4) It designed and realized a multi-channel video monitoring system software on

13、the server side, mainly included the software design of video acquisition module, video coding module, video display module, video storage module and network transmission module. It realized real-time display, video local hard disk storage and network transmission function. (5) It also designed and

14、realized a multi-channel video monitoring system software on the client side， mainly realized remote control、 live preview、 multi-channel switch as well as OSD character overlap display of the video monitoring system. The c lient software inside included RTSP interaction module、 RTP data receiving m

15、odule、video decoding module and display module. (6) It built video monitoring system testing environment, and did respective test on the server side and client side of the software. The server side mainly tested performance like the real-time、 code and compression as well as network transmission. Th

16、e client side mainly tested live preview and time delay. Test results showed that the video monitoring system used in this system had good local real-time preview performance, and the network transmission time delay was small. Key words: DaVinci technology, TMS320DM8168, video monitoring, McFW， embe

17、dded Linux inIV 目 录 I商 要 . I ABSTRACT . II 第 1 章绪论 . 1 1.1课题来源 . 1 1.2课题的研究背景和意义 . 1 1.3国 rt外研究现状 . 1 1.4本课题的研宄内容和主要工作 . 4 1.5本文基本结构 . 4 第 2章相关技术原理 . 6 2.1音视频编解码技术 . 6 2.1.1音频编码标准 G.711 . 6 2.1.2视频编码标准 H.264 . 6 2.2音视频网络传输技术 . 7 2.2.1 Socket 网络编程 . 7 2.2.2流媒体传输协议 . 9 2.2.3 H.264 的 RTP 封包 . 10 2.3McF

18、W软件架构 . 11 2.3.1 Link API 机制 . 11 2.3.2 chain 的建立 . 12 2.3.3 McFW API 机制 . 13 2.4本章小结 . 13 第 3章系统总体方案 . 14 3.1系统硬件平台 . 14 3.1.1 TMS320DM8168 处理器 . 15 3.1.2视频采集模块 . 18 3.1.3网络输出模块 . 19 3.2系统软件总体方案 . 20 3.2.1服务器软件总体方案 . 21 3.2.2客户端软件总体方案 . 22 3.3本章小结 . 23 第 4章嵌入式开发环境搭建 . 24 5 4.1主机端开发环境的搭建 . 24 4.2目标板

19、开发环境的搭建 . 26 4.2.1 u-boot的编译和烧写 . 27 4.2.2嵌入式 Linux内核的配置与编译 . 27 4.2.3 DM8168开发平台启动方式的设置 . 29 4.3本章小结 . 29 第 5章服务器端软件设计与实现 . 30 5.1本地实 时显示的实现 . 31 5.2编码压缩的实现 . 33 5.3本地存储的实现 . 35 5.4网络传输的实现 . 36 5.4.1 RTSP服务器的设计 . 36 5.4.2 Live555 的分析 . 37 5.4.3 Live555 的使用 . 40 5.5本章小结 . 41 第 6章客户端软件的设计与实现 . 42 6.1

20、客户端 RTSP模块 . 43 6.2 RTP数据接收模块 . 43 6.2.1接收缓冲区的设计 . 44 6.2.2 RTP分组排序算法的设计 . 45 6.2.3 H.264视频流的恢复 . 47 6.3 H.264视频解码模块 . 48 6.4视频显示模块 . 49 6.5本章小结 . 51 第 7章系统调试 . 52 7.1建立视频监控系统测试环境 . 52 7.2服务器端软件测试 . 53 7.2.1本地实时显示测试 . 53 7.2.2视频编码压缩测试 . 54 7.2.3网络传输功能测试 . 55 7.3客户端软件测试 . 56 7.3.1 VLC客户端测试 . 56 7.3.2

21、 RTSPPlyer 客户端测试 . 58 7.4本章小结 . 59 6 第 8章总结与展望 . 60 8.1 . 60 8.2 MM . 60 5女 tf. 62 # # K . 63 Pff M . 65杭州电子科技大学硕士学位论文 第 1 章绪论 1.1课题来源 本毕业设计的题目是 “ 基于 DM8168的多路视频监控系统研制 ” ，课题来源于 “ HYSY201 深水铺管船托管架视频监控系统研制 ” 横向课题。 1.2课题的研究背景和意义 近年来，随着科学技术的高速发展，人们的生活方式和日常生产方式都有了很大的改变， 安防监控在维护各大工程安全和社会治安稳定方面起着越来越重要的作用，人

22、们对该项技术 的研究和关注的程度也在不断的提升 1。随着人们生活和工作安全性的要求不断提高，对安 全防范系统在生活和生产中的强大需求正在不断的凸显出来。人们可以通过视频监控系统直 接观测需要监控的事物，这是视频监控系统给人们带来的最大的方便之处，同时它的智能性、 全方位性等特点也在安防系统中发挥着极其重要的作用。目前视频监控系统广泛的应用在居 民小区、学校、矿产开采现场以及其它工程项目中。 本文所研究的视频监控系统是用于海洋石油工程的探测与取样项目中。目前，我国对海 洋资源的勘探和开采都投入了很大的人力和物力，范围也从以前的近海往深海开拓，当然随 着这些要求的不断增加开发难度也在逐渐的增加，对

23、于技术上的要求也越来越高。在海洋中 开采出的油气资源的处理方法有如下两种，一种是通过船直接运 送，而另一种则是通过铺设 管道传输到陆地上给用户使用。在海洋中的管道铺设是由专门的铺管船进行施工的，第二种 传输方案使用的越来越多，因此海洋中的管道铺设对于开采油气资源是一个重要的组成部分。 铺管船在进行管道铺设的过程中托管架的受力比较复杂，它不仅需要承受管道的重量 2，而 且还需要承受风浪的载荷，可能会造成托管架破坏等情况，而一旦托管架破坏，后果将会非 常严重，因此对于托管架的实时视频监控就是显得非常重要。本课题就是希望设计出针对小 范围的工程项目的视频监控系统。 1.3国内外研究现状 视频监控系统

24、从上 世纪九十年代就己经出现了，那时候使用非常少，经历了多年的发展， 现在使用范围越来越广泛。在早些年，视频监控的技术还比较落后的时候，模拟视频技术在 视频监控系统使用的比较多，它主要由模拟摄像机、录像机、模拟监视器等组成 3，它们之 间是通过电缆进行连接传输模拟视频信号。而近些年，计算机技术、网络技术以及视频图像 处理技术都得到了快速发展，从而出现了数字视频监控系统。 数字视频图像技术的不断发展，带动了视频监控设备性能的不断发展。视频的分辨率由 以前的低质量的 QCIF、 CIF格式，到现在的 D1甚至是 720p以及 1080p的高分辨率的视频格式。 由以前的一个设备只能实现 1路监控到现

25、在的单个设备可以同时实现 16路甚至更多路的监控。 杭州电子科技大学硕士学位论文 2 视频的编码技术也从以前的 MPEG、 MPEG-4以及 H.263编码标准发展到现在的 H.264编码标准， 编解码技术的发展也为视频的存储和网络传输带来了很大的发展空间 4。 目前，数字视频监控系统的组成主要有两种方式：一种是基于 PC机系统，另外一种是基 于嵌入式系统。通过 PC机实现的视频监控系统，它是以 PC机为基本的硬件，以 windows、 linux 等操作系统为软件运行环境，然后配合视频采集卡以及相应的应用程序即可组成一个完整的 视频监控系统，这样的视频监控系统优缺点都很明显，它的性能比较容易

26、提升，软件功能上 的修改也比较方便，但是它在稳定性以及维护难度上都会比较高，视频的存储记录容易丢失 或被修改。基于嵌入式技术的视频监控系统，它是以嵌入式处理器和外设为硬件基础，以嵌 入式操作系统以及相应的应用软件为软件基础，嵌入式处理器一般功耗比较低、外设的集成 度比较高，嵌入式操作系统一般对硬件的要求也比较低 51,运行也会相对更加流 畅。嵌入式 视频监控设备的优缺点相对更加平衡一些，它的开发过程相对会复杂一些，功能改动也比较 难，但是稳定性比较好、结构简单紧凑、可移动性也比较好。随着嵌入式技术的不断发展， 嵌入式视频监控设备的总体性能将会更加完善。 目前嵌入式视频监控系统中使用较多的设备有

27、 DVR、 DVS和 NVR6。 DVR (数字视频录 像机），其核心功能是模拟音视频的数字化、编码压缩与存储，它同时还具有解码和网络传输 等功能，可以单独应用构成系统。 DVR在小规模的视频监控场合中使用的比较多，它可以将 摄像头通过缆线直接与 DVR相连实 现实时的监测 7。 DVS的主要功能是将摄像头采集的音视 频数据编码之后通过网络发送给远程的客户端。 DVS也可以看做是将 DVR的编码和网络传输 功能独立出来的一个产品，它仅仅是工作在前端的一个编码器同时提供网络传输能力，它需 要与后端平台、存储、网络、解码器等配合使用才能实现完整的功能，它对网络的依赖性也 非常大 81。 NVR的主

28、要功能是将媒体流进行存储和转发。 NVR的输入和输出部分都是经过网 络打包的流媒体数据。 NVR的前端设备使用的是IP摄像头或者是视频服务器， NVR是目前视 频监控设备中技术上是最先进 的，它适合于大型的分布式的视频监控领域 91。 国内对于视频监控系统研究的厂商非常多，其中研发规模比较大的厂商有海康、大华等 公司，它们不仅在国内占据了很高的市场份额同时在国际市场上的份额也开始渐渐扩大，国 内新的视频监控系统厂商也开始不断的出现 |1()，其中宇视科技就是目前成长比较快的新的视 频监控研发的厂商。在这过去的十几年的时间里，国内的这些企业在为我国的安防行业的发 展做出了重大的努力和突出的贡献。

29、国外在视频监控系统领域的研宄则明显领先于国内 11， 这是由于计算机技术、网络技术、图像视频处理技 术在国外的发展比在国内早很多，所以它 们在视频监控领域的技术明显更为成熟，研发了很多知名的安防设备，比较著名的国外厂商 有 brickcom、 axis、 Mobotix等，这些公司研发的产品占据了全球的大部分市场 |2。 虽然安防行业的技术在快速发展，但是人们对安防产品的要求也是在不断提升的，安防 技术使用的领域也在不断的扩大。基于这些原因，安防产品呈现出了以下几个发展趋势： (1) 集成化 杭州电子科技大学硕士学位论文 3 目前，对于安防系统的使用，不再是单独对固定的领域进行监控，而是与其它

30、很多领域 的设备配合起来使用，通过与其它产品的整合组成一套 功能更加完善的系统，例如视频监控 系统与报警系统、各种传感器系统一起组成一个新的系统。在当下的安防市场中，如果仅仅 想从技术上取得领先优势是不符合当下的发展趋势的 |31，只有从专业的角度和综合性的角度 为用户提供方案才能更好的开拓市场份额。因此，将安防产品与其它产品集成是一条新的发 展道路，这也会是未来的发展趋势之一。 (2) 智能化 从专业的角度讲，视频监控产品的智能化也是非常重要的，这项技术可以让我们快速定 位到自己想要的画面，从而可以避免长时间观察的过程，极大提高了效率和实用性，在提高 安防质量的同时还可以 减少对人力和物力的

31、投入 14。随着数字视频技术的快速发展，视频监 控产品更多智能化的功能将会得以开发和应用，以便更好的为安防行业服务。随着人们对安 防产品智能化功能需求的不断增加，安防产品必然会向着智能化技术方向发展。 (3) 高清化 目前的安防系统己经不能满足于 QCIF、 CIF等分辨率的视频监控设备。在分辨率较低的 情况下，对于一些安全性要求比较高的环境可能就会因为清晰度不够而出现一些无法处理的 情况 151，因此高清化是一个很重要的发展方向，例如 720p的分辨率，甚至更高的 1080p的分辨 率，这些都是未来发展的方向，同时也会给压缩、存储和网络传输，带来技术上更高的要求。 所以高清化也是视频监控产品

32、未来发展的趋势之一。 (4) 云存储 目前市场上的大多数视频监控设备是使用硬盘来存储数据，虽然目前硬盘的存储容量可 以做到很大，但是单个视频监控产品能接入的硬盘数量有限，视频数据在经过长时间的存储 之后，经常会出现硬盘存储容量不够的情况 16。而当下随着网络技术的快速发展， “ 云 ” 存储 技术己经发展的相对成熟，在很多领域己经得到了应用，视频监控产品使用 “ 云 ” 存储可以 解决存储容量的限制同时也可以更方便快捷的 实现数据的共享，同时我们也需要注意由于网 络安全问题带来的 “ 云 ” 存储的安全问题。 目前国内研究视频监控产品的公司，例如大华、海康以及华为视讯等公司基本都是基于 TI的

33、达芬奇系列和华为海思的处理器，硬件平台方案都己经比较成熟，前端的产品主要实现 视频的采集、分辨率的处理、编码、发送以及反馈控制等，后端产品则主要是对音视频数据 进行转发、本地存储、网络传输等 17。本文设计的视频监控系统就是采用了 TI的达芬奇处理 器 TMS320DM8168, TI为该处理器提供了 DVR、 DVS以及 NVR的设计方案，本文主要 研究它 的 DVR的参考设计，该参考设计具有如下几个方面的功能：可以在本地通过视频输出接口实 现实时显示，最多可以实现16路音视频数据的采集，编码方式为 H.264和 MPEG-4可选，同时 还提供了网络传输的功能 18。 1.4本课题的研究内容

34、和主要工作 本视频监控系统的开发过程中主要完成了以下几个方面的工作： (1) 本课题相关的理论知识的学习。主要包括了音视频编解码标准、套接字网络编程、 流杭州电子科技大学硕士学位论文 4 媒体传输协议、 H.264的 RTP封包策略以及嵌入式开发相关的技术。 (2) 达芬奇开发平台的使用。主要包括了解 TMS320DM8168处理器的内部结构，熟悉 它的各个子系统的功能，熟悉该开发平台各个外设接口以及需要实现的功能。搭建该开发平 台的应用程序开发环境，主要包括裁剪与编译 DM8168上运行的 uboot和 Linux内核，制作 调试阶段使用的网络文件系统以及 NANDFLASH上使用的文件系统

35、。 (3) 视频监控系统应用程序的设计与实现。主要包括对视频监控系统各个功能模块的设 计，基于 McFW软件框架编写了多路视频监控系统的服务器端的应用程序，实现了本地实时 显示、视频数据存储等功能。 (4) RTSP服务器的实现。分析了 Live555开源库 ，并使用该开源代码作为静态库文件 搭建了系统的 RTSP服务器。 (5) RTSP客户端软件的设计与实现，实现了远程的实时监控。 (6) 系统的调试。对于整个 DM8168硬件平台、软件的各个功能模块以及整个系统的功 能都进行了测试以及不断完善。 1.5本文基本结构 本文共分为八章，它们按照研宄的目的、理论知识的分析、开发平台的介绍和开发环境 的搭建以及服务器端和客户端应用程序的开发讲述了整个系统的开发过程。 第一章主要讲述了课题来源、课题研宄的背景以及视频监控系统的发展趋势，同时从整 体上讲述了本系统开发过程中的工作任务。 第二章主要讲述了在视频监控系统开发过程中使用到的相关理论知识，主要包括音视频 的编解码标准、流媒体传输协议、音视频的网络封包策略以及 McFW软件架构等。 第三章主要讲述了本文设计的视频监控系统的总体方案，分别从硬件平台和软件总体方 案进行了论述，硬件平台采用的是 TI的 DM8168多路视频监控系统开发平台，软件总体方案是 基于McFW软件架构进行设计的。 第四章主要