多媒体通信---第6章 多媒体通信终端技术.ppt

《多媒体通信---第6章 多媒体通信终端技术.ppt》由会员分享，可在线阅读，更多相关《多媒体通信---第6章 多媒体通信终端技术.ppt（80页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第第6 6章章 多媒体通信终端技术多媒体通信终端技术6.1 6.1 多媒体通信终端概述多媒体通信终端概述 6.2 6.2 多媒体通信终端相关标准多媒体通信终端相关标准 6.3 6.3 基于基于IPIP网络的多媒体通信终端网络的多媒体通信终端6.4 6.4 移动多媒体通信终端移动多媒体通信终端 16.1 6.1 多媒体通信终端概述多媒体通信终端概述1.1.多媒体通信终端的构成多媒体通信终端的构成 由搜索、由搜索、编解码、编解码、同步、同步、准备和执行等五个部准备和执行等五个部分以及分以及I I协议、协议、B B协议、协议、A A协议等三种协定组成的。协议等三种协定组成的。2多媒体通信终端的构成多

2、媒体通信终端的构成搜索部分：人机交互过程中的输入交互搜索部分：人机交互过程中的输入交互部分，包括各种输入方法、菜单选取等部分，包括各种输入方法、菜单选取等输入方式。输入方式。编解码部分：对多种信息表示媒体进行编解码部分：对多种信息表示媒体进行编解码，编解码，编码部分主要将各种媒体信息编码部分主要将各种媒体信息按一定标准进行编码并形成帧格式，按一定标准进行编码并形成帧格式，解解码部分主要对多媒体信息进行解码并按码部分主要对多媒体信息进行解码并按要求的表现形式呈现给人们。要求的表现形式呈现给人们。3多媒体通信终端的构成多媒体通信终端的构成同步部分处理：多种表示媒体间的同步问同步部分处理：多种表示媒

3、体间的同步问题，多媒体终端的一个最大的特点是多题，多媒体终端的一个最大的特点是多种表示媒体通过不同的途径进入终端，种表示媒体通过不同的途径进入终端，由同步处理部分完成同步处理，再送到由同步处理部分完成同步处理，再送到用户面前的就是一个完整的声、文、图、用户面前的就是一个完整的声、文、图、像一体化的信息。像一体化的信息。4多媒体通信终端的构成多媒体通信终端的构成准备部分准备部分:多媒体终端所具有的再编辑多媒体终端所具有的再编辑功能。功能。例如，例如，一个影视编导可以把从多一个影视编导可以把从多个多媒体数据库和服务器中调来的多媒个多媒体数据库和服务器中调来的多媒体素材加工处理，体素材加工处理，创作

4、出各种节目。创作出各种节目。执行部分执行部分:完成终端设备对网络和其他完成终端设备对网络和其他传输媒体的接口。传输媒体的接口。5多媒体通信终端的构成多媒体通信终端的构成I协议协议:也称为接口协议，也称为接口协议，它是多媒体终它是多媒体终端对网络和传输介质的接口协议。端对网络和传输介质的接口协议。B协议协议:也称为同步协议，它传递系统的也称为同步协议，它传递系统的同步信息，同步信息，以确保多媒体终端能同步地以确保多媒体终端能同步地表现各种媒体。表现各种媒体。A协议协议:也称为应用协议，也称为应用协议，它管理各种它管理各种内容不同的应用。内容不同的应用。例如，例如，ITU-TT.105协议即为协议

5、即为ISDN中的可视图文的中的可视图文的A协议。协议。62.多媒体通信终端的特点（1）集集成成性性：指多媒体终端可以对多种信息媒体进行处理和表现，能通过网络接口实现多媒体通信。这里的集成不仅指各类多媒体硬设备的集成，而且更重要的是多媒体信息的集成。7多媒体通信终端的特点（2）同同步步性性：指在多媒体终端上显示的图、文、声等以同步的方式工作。它能保证多媒体信息在空间上和时间上的完整性。它是多媒体终端的重要特征。（3）交交互互性性：指用户对通信的全过程有完整的交互控制能力。多媒体终端与系统的交互通信能力给用户提供了有效控制使用信息的手段。它是判别终端是否是多媒体终端的一个重要准则。83.多媒体通信

6、终端的关键技术(1)开开放放系系统统模模式式。为了实现信息的互通，多媒体终端应按照分层结构支持开放系统，模式设计的通信协议要符合国际标准。(2)人人机机和和通通信信的的接接口口技技术术。多媒体终端包括两个方面的接口，即与用户的接口和与通信网的接口。9多媒体通信终端的关键技术(3)多多媒媒体体终终端端的的软软、硬硬件件集集成成技技术术。多媒体终端的基本硬件、软件支撑环境，包括选择兼容性好的计算机硬件平台、网络软件、操作系统接口、多媒体信息库管理系统接口、应用程序接口标准及设计和开发等。(4)多多媒媒体体信信源源编编码码和和数数字字信信号号处处理理技技术术。终端设备必须完成语音、静止图像、视频图像

7、的采集和快速压缩编解码算法的工程实现，以及多媒体终端与各种表示媒体的接口，并解决分布式多媒体信息的时空组合问题。10多媒体通信终端的关键技术(5)多多媒媒体体终终端端应应用用系系统统。要使多媒体终端能真正地进入使用阶段，需要研究开发相应的多媒体信息库、各种应用软件（如远距离多用户交互辅助决策系统、远程医疗会诊系统、远程学习系统等）和管理软件。116.2多媒体通信终端相关标准多媒体通信终端相关标准1.概述概述ITU-T从从20世世纪纪80年年代代末末期期开开始始制制定定了了一一系系列列多多媒体通信终端标准，媒体通信终端标准，主要框架性标准如下：主要框架性标准如下：12ITU-TH.320：窄带可

8、视电话系统和终端窄带可视电话系统和终端（N-ISDN）；）；ITU-TH.323：不保证服务质量的局域网可视电话系：不保证服务质量的局域网可视电话系统和终端；统和终端；ITU-TH.322：保证服务质量的局域网可视电话系统：保证服务质量的局域网可视电话系统 和终端；和终端；ITU-TH.324：低比特率多媒体通信终端低比特率多媒体通信终端（PSTN）；）；ITU-TH.321:B-ISDN环境下环境下H.320终端设备的适配；终端设备的适配；ITU-TH.310：宽带视听终端与系统。宽带视听终端与系统。13基于各种网络的多媒体通信终端系列标准基于各种网络的多媒体通信终端系列标准142.T.12

9、0系列标准ITU-T的T.120系列标准是1993年以来ITU-T陆续推出的用于声像和视听会议的一系列标准，又称为“多层协议（MLP）”。此标准是为支持在多点和多媒体会议系统中发送数据而制定的，既可包含在H.32x视频会议标准框架之中，对现有的视频会议进行补充和增强，也可独立地支持声像会议（传送语音、静止图像、白板、加注等信息的实时会议）。T.120系列标准之间的关系如下图所示。15163.H.222.0复接/分接标准H.222.0标 准 实 际 上 是 MPEG-2的 系 统 层（ISO/IEC13818-1）协议，它主要规定如何将视频、音频以及数据的基本码流组合成一个或多个适合于存储或传输

10、的码流。在H.222.0中，首先将不同的媒体流分别按一定的长度分组，每一组码的前面加上包头，然后在同一信道上轮流传送不同媒体类型的包，这可以看成是一种异步的时分复用。在接收端根据包头信息将各种包区分开来，去掉包头重新组合成各自的码流。异步时分复用的带宽分配比较灵活。17H.222.0标准的系统结构示意图186.3基于基于IP网络的多媒体通信终端网络的多媒体通信终端H.3231.概述随随着着网网络络技技术术的的迅迅速速发发展展，特特别别是是Internet的的巨巨大大发发展展和和广广泛泛应应用用，基基于于IP的的网网络络（Internet、LAN、Intranet等等）已已成成为为多多媒媒体体通

11、通信信的的重重要要网网络络，因因此此，基基于于IP网网络络的的多多媒媒体体通通信信终终端端已已成成为为多多媒媒体体通通信信终终端端的的研研究究热热点点。H.323标标准准就就是是ITU-T为为基基于于IP网网络络的的多多媒媒体体通通信信制制定定的的终终端端标标准。准。191996年批准的年批准的H.323是一个运行在局域网是一个运行在局域网(LAN)上并上并且不保证服务质量且不保证服务质量(QoS)的多媒体通信标准。的多媒体通信标准。H.323允允许声音、视频图像和数据任意组合之后进行传送。许声音、视频图像和数据任意组合之后进行传送。H.323指定包括指定包括H.261和和H.263作为视作为

12、视频频图像编码器，指图像编码器，指定定G.711,G.722,G.728，G.729和和G.723.1作为声音编码作为声音编码器。此外，还定义了包括网关器。此外，还定义了包括网关(gateways)、会议服务、会议服务器器(gatekeeper)和多点控制设备和多点控制设备(MCU)等设备的规范。等设备的规范。H.323广泛应用于因特网电视和电话广泛应用于因特网电视和电话(Internettelephony)系统。系统。202.H.323ArchitectureH.323TerminalH.323TerminalH.323MCUH.323TerminalH.323GatewayH.323Gat

13、ekeeperPacket Based Network Scope of H.323GSTN/PSTN213.H.323ProtocolSuiteH.225Coversnarrow-bandvisualtelephoneservicesH.235SecurityandAuthenticationH.245NegotiateschannelusageandcapabilitiesH.450.1H.450.12SeriesdefinesSupplementaryServicesforH.323RASManagesregistration,admission,statusT.38IP-basedfa

14、xservicemaps224.H.323标准的分层结构标准的分层结构23H.323标准的分层结构标准的分层结构在在H.323标标准准中中，网网络络层层采采用用IP协协议议，负负责责两两个个终终端端之之间间的的数数据据传传输输。由由于于采采用用无无连连接接的的数数据据包包，路路由由器器根根据据IP地地址址（不不需需信信令令）把把数数据据送送到到对对方方，但但不不保保证传输的正确性。证传输的正确性。在在IP的的上上层层TCP（传传输输控控制制协协议议）保保证证数数据据顺顺序序传传送送，发发现现误误码码就就要要求求重重发发，因因此此，TCP不不适适用用于于实实时时性性要要求求较较高高的的场场合合，

15、而而对对误误码码要要求求高高的的数数据据传传送送，则则可可以以采采用用TCP，诸诸如如H.245通通信信协协议议及及H.225呼呼叫叫信信令令的的传传送等。送等。24H.323标准的分层结构标准的分层结构UDP采采取取无无连连接接传传输输方方式式，协协议议简简单单，用用于于视视音音频频实实时时信信息息流流。如如有有误误码码，则则丢丢掉掉该该包包，因因为为对对实实时时信信息息传传输输而而言言较较少少的的等等待待时时间间比比误误码码纠纠正正更更为为重重要要，对对实实时时音音频频和和视视频频来来说说，丢丢掉掉少少量量错错误误的的数数据据包包并并不不影响视听。影响视听。而而对对数数据据需需采采用用RT

16、CP协协议议，如如果果有有误误码码，为为了了保保持持音音频频和和视视频频等等信信息息包包之之间间彼彼此此正正确确衔衔接接，则则应应采采用用反反馈馈重重发发方方式式。采采用用RTP协协议议，因因而而RTP在在每每个个从从信信源源离离开开的的数数据据包包上上留留下下了了时时间间标标记记以以便便在在接接收收端端正正确确重重放。放。25H.323标准的分层结构标准的分层结构RTP在在UDP的的上上层层，相相当当于于会会话话层层，提提供供同同步步和和排排序序服服务务，对对网网络络的的带带宽宽、时时延延、差差错错有有一一定定的的自自适适应应性性；其其数数据据包包头头中中包包含含一一些些控控制制信信息息，以

17、以保保证证实实时时的数据传送。的数据传送。265H.323多媒体通信终端构成多媒体通信终端构成27H.323终端终端H.323终端是局域网上的客户使用的设备，它终端是局域网上的客户使用的设备，它提供实时的双向通信。在提供实时的双向通信。在H.323终端中，可供选择终端中，可供选择的标准包括电视图像编码器的标准包括电视图像编码器(H.263/H.261)、声音编、声音编码器码器(G.71X/G.72X/G.723.1)、T120实时数据会议实时数据会议(realtimedataconferencing)和和MCU的功能。但所的功能。但所有的有的H.323终端都必须具备声音通信的功能，而电终端都必

18、须具备声音通信的功能，而电视图像和数据通信是可选择的。视图像和数据通信是可选择的。H.323是新一代因是新一代因特网电话、声音会议终端和电视会议终端技术的基特网电话、声音会议终端和电视会议终端技术的基础。础。28H.323终端终端系统控制：是系统控制：是H.323终端的核心，终端的核心，它提供它提供了了H.323终端正确操作的信令。终端正确操作的信令。这些功能这些功能包括呼叫控制（建立与拆除）、包括呼叫控制（建立与拆除）、能力切能力切换、换、命令和指示信令以及用于开放和描命令和指示信令以及用于开放和描述逻辑信道内容的报文等。述逻辑信道内容的报文等。整个系统的整个系统的控制由控制由H.245控制

19、通道、控制通道、H.225.0呼叫信呼叫信令信道以及令信道以及RAS信道提供。信道提供。29H.323终端终端分组与同步分组与同步:H.225.0标准描述了无标准描述了无QoS保保证的证的LAN上媒体流的打包分组与同步传上媒体流的打包分组与同步传输机制。输机制。H.225.0对传输的视频、对传输的视频、音频、音频、数据与控制流进行格式化，数据与控制流进行格式化，以便输出到以便输出到网络接口，网络接口，同时从网络接口输入报文中同时从网络接口输入报文中补偿接收到的视频、补偿接收到的视频、音频、音频、数据与控制数据与控制流。流。另外，另外，它还具有逻辑成帧、它还具有逻辑成帧、顺序编顺序编号、号、纠错

20、与检错功能。纠错与检错功能。30H.323终端终端数数据据：由由于于T.120是是H.323与与其其他他多多媒媒体体通通信信终终端端间间数数据据互互操操作作的的基基础础，因因此此，通通过过H.245协协商商可可将将其其实实施施到到多多种种数数据据应应用用中中，如如白白板板、应应用用共共享享、文文件件传传输输、静静态态图图像像传传输输、数数据据库库访访问问、音音频频图图像像会会议等。议等。31H.323编码Audio:H.323终端必须支持G.711标准进行语音压缩.G.711以5664kb/s的速率传输语音.H.323正在考虑使用G.723=G.723.1,该标准以5.36.3kb/s的速率操

21、作（来支持低速链路）.Optional:G.722,G.728,G.729Video对H.323终端来说，视频能力为可选项.任何可视化的H.323终端必须支持QCIFH.261(176x144pixels).也可以选择其他的H.261机制:CIF,4CIFand16CIF.H.261所使用的信道带宽必须是64kb/s的整倍数.32产生H.323中的音频数据流AudioSourceEncoding:e.g.,G.711orG.723.1RTPpacketencapsulationUDPsocketInternetorGatekeeper33H.245控制通道H.323媒体流可以包含若干信道来传输

22、不同类型的媒体数据每个H.323会话有一个H.245控制信道H.245控制信道是一个可靠的(TCP)信道主要任务:开闭媒体信道能力信息交换:在发送流媒体之前,通信终端对它们之间的编码/算法协商一致34信息流35网守(Gatekeeper)1/2网守网守是任选的是任选的H.323模块模块/设备设备,可以给端点提供可以给端点提供:负责负责”别名别名”与与IP地址的转换地址的转换带宽管理带宽管理:可以限制实时会议所消耗的带宽可以限制实时会议所消耗的带宽作为可选功能作为可选功能,H.323呼叫可以被引导通过呼叫可以被引导通过网守网守,对计费有用对计费有用.RAS协议协议(overTCP)负责端点负责端

23、点-网守网守间的通信间的通信H.323terminalsGatekeeperRouterInternetLAN=“H.323Zone”RAS36网守(Gatekeeper)H.323终端必须在网守的辖区内注册.当H.323应用程序在终端上调用时,该终端使用RAS给网守发送其IP地址和(用户提供的)别名.如果区内有网守存在,每个区内的终端必须与网守联系并获取呼叫许可.一旦获得许可,终端将给网守发送电子邮件地址、别名字符串或电话分机.网守将别名翻译成IP地址如有必要,网守将轮询其他辖区中的网守以解决IP地址的解析问题.处理过程如同DNS,但具体做法因厂商而异37H.323网关(Gateway)H.

24、323terminalsGatekeeperRouterInternetLAN=“H.323Zone”RASGatewayPSTN是是IP区和区和PSTN(orISDN)网络之间的桥梁网络之间的桥梁.终端使用终端使用H.245和和Q.931与网关进行通信与网关进行通信38LogicalChannel3.SetupQ.931CallSignalingChannelRASChannel1.ARQ(aliasaddress/bandwidth)2.ACF(callsignalingchanneladdress/bandwidth)5.ARQ6.ACF8.Connect(H.245Address)4.

25、CallProceeding7.AlertingH.245ControlChannel(LogicalChannel0)Master/SlaveDeterminationRTCPStreamRTCPStreamRTPStreamGatekeeperTerminalTerminalCapabilityExchangeOpenLogicChannel(RTCPaddress)OpenLogicChannelACK(RTP&RTCPaddress)H.323CallSetupFlow396.4 6.4 移动多媒体通信终端移动多媒体通信终端1.1.概述概述移动通信市场不断增长，无线因特网的应用越来移动

26、通信市场不断增长，无线因特网的应用越来越多，分离的终端逐步合并为单一的多媒体终端越多，分离的终端逐步合并为单一的多媒体终端设备。设备。随着基于移动网络的多媒体数据业务的蓬勃发展，随着基于移动网络的多媒体数据业务的蓬勃发展，移动多媒体应用系统的开发技术日渐成为业内的移动多媒体应用系统的开发技术日渐成为业内的研究热点。随着研究热点。随着3G3G时代的到来，人们对手机、时代的到来，人们对手机、PDAPDA等数字终端的功能不再满足于简单的通话、短信、等数字终端的功能不再满足于简单的通话、短信、游戏和游戏和MP3MP3等，需要支持更强大的多媒体业务功能，等，需要支持更强大的多媒体业务功能，如如VoIPV

27、oIP系统、视频电话、无线多媒体监控系统等。系统、视频电话、无线多媒体监控系统等。401.概述移动多媒体通信系统，能够实现多媒体信息的移动多媒体通信系统，能够实现多媒体信息的实时采集、处理和传输，是为完整的多媒体应实时采集、处理和传输，是为完整的多媒体应用提供信息源，数据打包，协议支持等功能的用提供信息源，数据打包，协议支持等功能的无线通信系统。然而，多媒体信息尤其是视频无线通信系统。然而，多媒体信息尤其是视频信息在无线网络上传输存在着网络带宽有限、信息在无线网络上传输存在着网络带宽有限、误码严重、终端处理能力较弱等问题。针对这误码严重、终端处理能力较弱等问题。针对这些问题，在移动多媒体系统设

28、计时要综合考虑些问题，在移动多媒体系统设计时要综合考虑多方面因素。在系统设计时涉及的关键技术包多方面因素。在系统设计时涉及的关键技术包括移动多媒体终端、抗干扰的音视频编解码机括移动多媒体终端、抗干扰的音视频编解码机制、无线通信网络组网及多媒体传输控制等。制、无线通信网络组网及多媒体传输控制等。412.移动多媒体终端设计架构移动多媒体终端设计架构移动多媒体终端系统组成框图如下图所示。系统一般分为四个部分，微处理器系统、多媒体外设、数据存储设备和无线网络接口。4243(1)微处理器核心微处理器将采集到的原始多媒体数据经过音视频编码设备根据给定的编码标准（H.263、H.264、MPEG-4）进行编

29、码，以备本地播放或通过网络传输。同时，还要提供必要的多媒体外设接口、外部存储器接口和网络接口。目前，比较流行的核心微处理器的选择目前，比较流行的核心微处理器的选择方案主要有以下几种：方案主要有以下几种：44(1)微处理器采用特殊用途的数字信号处理器（DSP）芯片。现在，国际上已经推出了不少专用型DSP芯片，特别还有针对H.263、MPEG、JPEG标准的芯片。在这些芯片中，其软件算法已在芯片内部用硬件实现，适用于对速度要求很高的场合。这种方案的缺点是灵活性差，开发工具尚不完善。45(1)微处理器利用可编程DSP芯片实现。DSP芯片采用改进的哈佛总线结构，内部有硬件乘法器、累加器，使用流水线结构

30、，具有良好的并行性等，非常适用于不允许有延迟的实时应用领域。而且，一块内嵌的DSP芯片结合外围电路能完成整个系统的压缩编码。这种方案有很强的灵活性，硬件系统完成后，整个系统的升级仅仅需要修改软件即可。46(1)微处理器用FPGA等可编程阵列产品实现。可以利于公司专用软件或VHDL等开发语言，通过软件编程用硬件实现特定的音视频压缩算法。这一方案具有通用性的特点，并可以实现算法的并行运算，无论是作为独立的数字信号处理器，还是做为DSP芯片的协处理器，都是比较活跃的研究领域。47(2)多媒体外设多媒体外设主要包括摄像头、显示设备、音视频处理设备，还包括耳机话筒、网络智能卡、天线和电池等。摄像头采集视

31、频信号，显示设备将从本地或网络得到视频数据打开数据包，进行视频解码，并把得到的视频数据显示出来，同时，如果嵌入式网络多媒体终端需要验证视频压缩的数据的正确性，还可以带有本地解码器，支持解码数据的本地显示。48(3)数据存储设备数据存储设备包括RAM、ROM、SDRAM和FLASH，用来扩展系统存储空间，存储经过编解码的多媒体数据和终端控制程序。49(4)无线网络接口模块无线网络接口模块处理音视频编码流，把音视频数据打包为适合网络传输的数据包，并把它通过无线网络传输出去。并支持系统选定的无线网络传输控制协议。如：SIP协议503.基于OMAPl510双核架构的移动多媒体通信终端移动通信的发展对数

32、字信号处理器提出了越来越高的移动通信的发展对数字信号处理器提出了越来越高的要求，传统的要求，传统的DSPDSP芯片已不能胜任。为了满足移动通信芯片已不能胜任。为了满足移动通信和多媒体领域新应用的需要，德州仪器公司提出了开和多媒体领域新应用的需要，德州仪器公司提出了开放式多媒体应用平台放式多媒体应用平台OMAP(OpenOMAP(Open Multimedia Multimedia Applications Platform)Applications Platform)体系结构，并为此设计了体系结构，并为此设计了OMAPOMAP芯片。芯片。它采用一种独特的双核结构，把高性能低功耗的它采用一种独特

33、的双核结构，把高性能低功耗的DSPDSP核核与控制性能强的与控制性能强的ARMARM微处理器结合起来，成为一颗高度微处理器结合起来，成为一颗高度整合性整合性SoCSoC。它是一种开放式的、可编程的基于。它是一种开放式的、可编程的基于DSPDSP的的体系结构。由于体系结构。由于OMAPOMAP先进独特的结构，其芯片运算处先进独特的结构，其芯片运算处理能力强、功耗低，在移动通信和多媒体信号处理方理能力强、功耗低，在移动通信和多媒体信号处理方面具有明显优势。面具有明显优势。51(1)OMAP1510硬件构架OMAP的硬件构架主要由DSP核、ARM核以及业务控制器(TrafficController)

34、组成。这三部分可以独立进行时钟管理，有效地控制功耗，如图1所示。5253(1)OMAP1510硬件构架TI增强型ARM925核:ARMRISC体系结构的先进代表，工作主频为175MHz。它包括存储器管理单元、16K字节的高速指令缓冲存储器、8K字节的数据高速缓冲存储器和17个字的写缓冲器。片内有1.5MB的内部SRAM，为液晶显示等应用提供大量的数据和代码存储空间。它有13个内部中断和19个外部中断，采用两级中断管理。此外,核内还有ARMCP15协处理器和保护模块。54(1)OMAP1510硬件构架C55xDSP核 具有最佳的功耗性能比，工作主频为具有最佳的功耗性能比，工作主频为200MHz2

35、00MHz。它采用了三项关键的革新技术：增大的空闲省它采用了三项关键的革新技术：增大的空闲省电区域、变长指令、扩大的并行机制。其结构电区域、变长指令、扩大的并行机制。其结构对于多媒体应用高度优化，适合低功耗的实时对于多媒体应用高度优化，适合低功耗的实时语音图像处理。语音图像处理。C55xDSP C55xDSP 核增加了处理运动估核增加了处理运动估计、离散余弦变换、离散余弦反变换和计、离散余弦变换、离散余弦反变换和 1 1 2 2 像素插值的硬件加速器，降低了视频处理的功像素插值的硬件加速器，降低了视频处理的功耗。耗。C55x DSP C55x DSP 核内部有核内部有32K 32K 字的双存取

36、字的双存取 SRAMSRAM，48K 48K 字的单存取字的单存取 SRAM SRAM 和和 12K 12K 字的高字的高速指令缓存。此外，核内还包含存储器管理单速指令缓存。此外，核内还包含存储器管理单元、两级中断管理器和直接存储器访问单元。元、两级中断管理器和直接存储器访问单元。55(1)OMAP1510硬件构架OMAPl510芯片具有丰富的外围接口如：液晶控制器、存储器、摄像机、空中、蓝牙、通用异步收发器、I2C主机、脉宽音频发生器、串行、主客户机USB、安全数字多媒体卡控制器、键盘等接口。这些丰富的外围接口，使OMAP1510特别适用于第三代移动通信系统。56(2)OMAP1510软件构

37、架OMAP的软件结构建立在两个操作系统上：一是基于ARM的操作系统，如WindowsCE、Linux等；二是基于DSP的DSPBIOS。连接两个操作系统所使用的核心技术是DSPBIOS桥。它是实现和使用OMAP的关键。对于软件开发者来说，DSPBIOS桥提供了一种使用DSP的无缝接口，允许开发者在GPP(通用处理器，包括ARM)上使用标准应用编程接口，访问并控制DSP的运行环境。57(2)OMAP1510软件构架利用TI公司的CodeComposerStudio集成开发环境，从开发者的角度来看，OMAP好像仅用GPP处理器就完成了所有处理功能。这样，开发者就不需要为两种处理器分别编程，这使编程

38、工作大为简化。在OMAP体系结构下，开发者可以像对待单个GPP那样对OMAP的双处理器平台进行编程。58(2)OMAP1510软件构架OMAP1510支持多种实时多任务操作系统在ARM925微处理器上工作，用来对ARM925微处理器进行实时多任务调度管理，对DSPC55x进行控制和通信，同时也支持多种实时多任务操作系统在DSPC55x上工作，实现复杂的多媒体信号处理。59(2)OMAP1510软件构架DSPBIOS桥包含DSP管理器，DSP管理服务器，RAM、DSP和外围接口链接驱动。DSPBIOS桥提供运行在ARM925上的应用程序和运行在DSPC55x上的算法之间的通信管理服务。开发者可以

39、利用该桥中的应用编程接口，控制DSP中实时任务的执行，并与DSP交换任务运行结果和状态消息。在这个环境下，开发者可以调用局部DSP网关组件完成诸如视频、音频和语音等功能。因此，开发者不需要了解DSP和该桥就能开发新的应用软件，如图2所示。6061(2)OMAP1510软件构架开发多媒体应用程序时，可以通过标准的多媒体应用编程接口(MMAPI)，使用多媒体引擎，方便了应用程序的开发；多媒体引擎对相关的DSP任务通过DSP应用编程接口(DSPAPl)使用DSPBIOS桥；最后由DSPBIOS桥对数据、IO流和DSP任务控制进行协调。如图3所示。6263(2)OMAP1510软件构架DSPBIOS桥

40、用于连接DSP和其他通用处理器(GPP)上的OS。GPP在OMAP里是ARM，还可以是MIPS(MicroprocessorwithoutInterlockedPipeStage)等。DSPBIOS桥用于非对称的、由一个通用处理器(GPP)和一个或多个DSP组成的多处理器环境。64(2)OMAP1510软件构架DSPBIOS桥作为GPPOS和DSPOS的软件组合，把两个操作系统连接在一起。这种连接能够使GPP端的客户与DSP上的任务交换信息和数据。连接分为两种类型：消息子连接和数据流子连接。每种子连接都按顺序传递消息，哪个消息先到消息链，哪个消息就先被传递；同样哪个数据流先到数据流链，哪个数据

41、流就先被传递。每个子连接都独立地进行操作，例如：65(2)OMAP1510软件构架GPP先发送数据流，然后发送消息；如果消息有高优先级，那么消息比数据流先到DSP。DSP任务通常用消息对象传送控制和状态信息，用数据流对象传送高效实时数据流。图4表示GPP客户端程序和DSP任务间的关系。6667(3)3G移动多媒体终端的硬件结构方案基于OMAP1510的3G移动多媒体终端的硬件结构方案如图5所示。其中3G移动电话卡实现基于3G无线传输技术(RTT)规范的空中接口功能，包括射频模块和基带处理模块以及相应的物理层软件。本方案采用CDMA2000技术规范。3G移动电话卡与OMAP1510的接口可通过T

42、I外设总线接口实现。6869(4)基于CDMA2000的协议软件设计方案CDMA2000的实现分为CDMA2000-1X和CDMA2000-3X两个阶段。前者的数据速率为144kbps，后者的移动车载用户达到144kbps，移动步行用户可达到384kbps，室内固定用户达到2Mbps，可实现无线因特网接人、会议电视等高速多媒体分组数据业务和话音业务。基于CDMA2000的3G移动多媒体终端的协议软件结构如图6所示。7071(4)基于CDMA2000的协议软件设计方案终端协议结构由两部分组成：是信令协议栈和应终端协议结构由两部分组成：是信令协议栈和应用业务协议栈用业务协议栈。CDMA2000 C

43、DMA2000 的信令协议栈包括高层信令层、数据链的信令协议栈包括高层信令层、数据链路层路层(分成分成LAC LAC 子层和子层和MAC MAC 子层子层)以及物理层以及物理层。其中高层信令层主要描述了信令结构、安全认证、其中高层信令层主要描述了信令结构、安全认证、信令控制和应用、消息格式等信令控制和应用、消息格式等；LAC LAC 子层提供信令传输的可靠性保证，包括鉴权、子层提供信令传输的可靠性保证，包括鉴权、ARQARQ、功用、分割重装等；、功用、分割重装等；MAC MAC 子层完成逻辑信道业务的复分接以及子层完成逻辑信道业务的复分接以及QoSQoS 控控制等功能制等功能；物理层实现数据编

44、解码和调制解调等物理信道的物理层实现数据编解码和调制解调等物理信道的处理处理。72(4)基于CDMA2000的协议软件设计方案应用业务协议栈包括多媒体视频音频编解码器、实应用业务协议栈包括多媒体视频音频编解码器、实时传输协议时传输协议(RTP)(RTP)、呼叫控制信令协议、呼叫控制信令协议、TCP TCP IPIP、PPP PPP 等。等。3G 3G 移动通信系统中的多媒体应用基于移动通信系统中的多媒体应用基于IP IP 分分组数据交换，多媒体会话的呼叫控制管理由一套信令组数据交换，多媒体会话的呼叫控制管理由一套信令协议集完成。常用的有两种协议集完成。常用的有两种：H H323(323(基于分

45、组的多媒体通信系统基于分组的多媒体通信系统)和和 SIP(SIP(会话发起会话发起协议协议)。图图6 6 中给出的中给出的H H323 323 是目前应用比较广泛的信令协议是目前应用比较广泛的信令协议集，其中视频编解码器采用集，其中视频编解码器采用H H263 263 标准，音频编解码标准，音频编解码器采用器采用G G723 723 标准。标准。RTP RTP 及其配对协议及其配对协议RTCP RTCP 提供对提供对等多媒体应用层相关信息，而等多媒体应用层相关信息，而UDP UDP 协议可减少实时多协议可减少实时多媒体流的传输延迟。媒体流的传输延迟。H H2252250 0 和和H H245

46、245 协议分别是协议分别是H H323 323 的呼叫控制协议，运行在的呼叫控制协议，运行在TCP TCP 协议上协议上。73(4)基于CDMA2000的协议软件设计方案移动多媒体终端软件的另一重要组成部分是嵌入式操作系统。目前比较流行的嵌入式主流操作系统有VxWorks、WinCE、Linux等，其中Linux为开放源代码，成本低且开发潜力大，支持ARM、PowerPC、x86等多种处理器。嵌入式Linux操作系统可自主开发，也可购买商用成熟的产品，如CLinux等。744.OMAP3530/25ApplicationsProcessor(1)DescriptionOMAP3530andO

47、MAP3525high-performance,applicationsprocessorsarebasedontheenhancedOMAP(TM)3architecture.TheOMAP(TM)3architectureisdesignedtoprovidebest-in-classvideo,image,andgraphicsprocessingsufficienttosupportthefollowing:*Streamingvideo*3Dmobilegaming*Videoconferencing*High-resolutionstillimage754.OMAP3530/25A

48、pplicationsProcessorThedevicesupportshigh-leveloperatingsystems(OSs),suchas:*Linux*WindowsCEThisOMAPdeviceincludesstate-of-the-artpower-managementtechniquesrequiredforhigh-performancemobileproducts.Thefollowingsubsystemsarepartofthedevice:764.OMAP3530/25ApplicationsProcessor*Microprocessorunit(MPU)s

49、ubsystembasedontheARMCortex(TM)-A8microprocessor*IVA2.2subsystemwithaC64x+digitalsignalprocessor(DSP)core*POWERVRSGX(TM)subsystemfor3Dgraphicsaccelerationtosupportdisplayandgamingeffects(3530only)774.OMAP3530/25ApplicationsProcessor*Cameraimagesignalprocessor(ISP)thatsupportsmultipleformatsandinterf

50、acingoptionsconnectedtoawidevarietyofimagesensors*Displaysubsystemwithawidevarietyoffeaturesformultipleconcurrentimagemanipulation,andaprogrammableinterfacesupportingawidevarietyofdisplays.ThedisplaysubsystemalsosupportsNTSC/PALvideoout.*Level3(L3)andlevel4(L4)interconnectsthatprovidehigh-bandwidthd