音频处理一资料.pptx

《音频处理一资料.pptx》由会员分享，可在线阅读，更多相关《音频处理一资料.pptx（42页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第二章第二章 多媒体音频技术多媒体音频技术 数字音频的采集和量化、数据量计算公式；声卡的构成、分类、主要性能指标；常用的压缩编码算法；【难重点】第1页/共42页第二章第二章 多媒体音频技术多媒体音频技术Sampling rate:采样频率Audio Compression:音频压缩MIDI(Musical Instrument Digital Interface):音乐设备数字接口【外语词汇】第2页/共42页第二章第二章 多媒体音频技术多媒体音频技术2.1 数字音频基础2.2 声卡的组成与工作原理2.3 音乐合成与MIDI规范2.4 音频编码基础2.5 多媒体音频技术的应用第3页/共42页2.

2、12.1 数字音频基础数字音频基础一、一、声音心理学声音心理学二、音频的数字化三、数字音频的文件格式第4页/共42页一、声音心理学 1.声音的量纲 声音的振动是一种正弦波，声音的变化必须确定三件事：频率（变化的速度）、幅度（产生的压力）、相位（何时开始）。另外一方面，人们可以感觉到声音的强弱，可以感觉到歌唱家音调的高低。另外一方面，人们可以感觉到声音的强弱，可以感觉到歌唱家音调的高低。因此，声音的量纲分为声音的因此，声音的量纲分为声音的物理量纲物理量纲和和心理量纲心理量纲。第5页/共42页一、声音心理学 物理量纲可以用精确的值来描述，但对某一具体声音得来的心理印象却不容易说明白，因为心理印象要

3、由被测者的经验而定。声音的心理属性和物理属性不可等同，首先，这些关系不是线性的；其次这些关系不是孤立的；第三这些关系不是不变的。第6页/共42页一、声音心理学2.听觉特性 等响曲线描述的是响度与频率和强度的关系。等响曲线描述的是响度与频率和强度的关系。等响曲线描述的是响度与频率和强度的关系。从声音心理学考虑，对同一从声音心理学考虑，对同一从声音心理学考虑，对同一响度的声音在频率上和强度上可以有很大的差别，这对声音表现有重要意义。响度的声音在频率上和强度上可以有很大的差别，这对声音表现有重要意义。响度的声音在频率上和强度上可以有很大的差别，这对声音表现有重要意义。等响曲线等响曲线 由于响度与频率

4、和强度有关，所以在不同频率上的强度是不同的。先设一由于响度与频率和强度有关，所以在不同频率上的强度是不同的。先设一个音为标准音，给予固定的频率、强度和持续时间，例如个音为标准音，给予固定的频率、强度和持续时间，例如1000Hz1000Hz、4040分贝、分贝、持续持续0.50.5秒；再给一个音也持续秒；再给一个音也持续0.50.5秒，但频率不同，通过调整使其响度听起来秒，但频率不同，通过调整使其响度听起来一样，得到的这样一组曲线称之为等响曲线。一样，得到的这样一组曲线称之为等响曲线。第7页/共42页一、声音心理学掩蔽（masking）声音的响度不仅取决于自身的强度和频率，而且也依赖于同时出现的

5、其它声音。各种声音可以互相掩蔽，也就是说一种声音的出现可能使得另一种声音难于听清。由于声音的掩蔽效果，可以欺骗人的听觉。例如，本来是多种频率的声音的复合，但听众以为是另一种声音。第8页/共42页一、声音心理学相位 从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声音就会得到加强。相位的确定对于多声道声音系统的设计非常重要，其可以应用在回声的消除、会议系统的声音设计上。第9页/共42页一、声音心理学听觉空间 人耳可听到来自各个方向的声音，并用不同的因素来判定声源的位置。声源的位置不论对于增进人们

6、的感受还是增进对声音的理解，都是非常重要的。通过声音的精确再现，就可以构造出听觉空间。方位的线索是各种声音到达两耳的精确时间和强度。第10页/共42页一、声音心理学声音的心理模拟 通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，同样也可以对听觉空间的声音进行心理的模拟，这就是所谓的可听化（audiolization）。利用声音属性可以表达出一些声音的效果。如以虚拟的湍流为例，用声音的高低可以表示流体的粘度，低音表示流体很粘，高音则不粘。第11页/共42页二、音频的数字化声音的基本概念声音的基本概念:声音是通过一定介质传播的一种连续声音是通过一定介质传播的一种连续波。波。t振幅周期A声波

7、:第12页/共42页二、音频的数字化声音按声音按频率频率分类：分类：次声波可听声波 超声波20Hz20kHzf(Hz)人类说话声音频率范围：300Hz-3kHz10 20 50 200 3.4k 7k 15k 20kCD-DAFM广播AM广播电话f(Hz)频带频带（亚音信号）（音频信号）（超音频信号）声音质量的频率范围：第13页/共42页二、音频的数字化声音信号的类型声音信号的类型 模拟信号模拟信号(自然界、物理自然界、物理)数字信号数字信号(计算机计算机)-模拟信号：模拟信号：在时间和幅度上都是连续的信号在时间和幅度上都是连续的信号-数字信号：数字信号：时间和幅度都用离散的数字表示的信号时间

8、和幅度都用离散的数字表示的信号第14页/共42页二、音频的数字化采样采样量化量化编码模拟信号数字信号模拟信号数字信号A/D ADCD/A DAC声音信号的数字化过程第15页/共42页二、音频的数字化声音数字化过程图示声音数字化过程图示:连续的模拟声音信号声音信号的采样离散的音频信号顺序顺序第16页/共42页二、音频的数字化声音数字化的两个步骤：声音数字化的两个步骤：采样采样量化量化 采样是每隔一段时间读一次声音采样是每隔一段时间读一次声音信号的幅度。信号的幅度。量化是把采样得到的声音信号幅量化是把采样得到的声音信号幅度转换为数字值。度转换为数字值。第17页/共42页 声音的采样以及量化图第18

9、页/共42页二、音频的数字化均匀采样：每隔相等的一小段时间采样一次每隔相等的一小段时间采样一次线性量化:如果对信号幅度的划分是等间隔的，就称为线性量化如果对信号幅度的划分是等间隔的，就称为线性量化非线性量化 基本思想是，对输入信号量化时，大的输入信号采用大的量化间隔，基本思想是，对输入信号量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔。小的输入信号采用小的量化间隔。第19页/共42页二、音频的数字化与音频数字化相关的重要特性：与音频数字化相关的重要特性：采样频率采样频率采样频率采样频率 指每秒钟所抽取声波幅度样本的次数。采样频率的计算单位是kHz。采样频率与声音的质量关系最

10、为紧密。采样频率越高，声音质量越接近原始声音，所需的存储量便越多。标准的采样频率有三个：44.1KHz，22.05kHz，和11.025kHz。第20页/共42页二、音频的数字化奈奎斯特理论(Nyquist theory)：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做声音还原成原来的声音，这叫做无损数字化无损数字化(lossless digitizationlossless digitization)fs2fmax电话话音的信号频率约为电话话音的信号频率约为3.4 kHz3.4 kHz，

11、采样频率选为，采样频率选为8 kHz8 kHz。第21页/共42页二、音频的数字化采样精度采样精度采样精度采样精度（采样位数）（采样位数）(bit per samplebit per sample，bpsbps)存放一个采样点所需的比特数。它反映了每个采样点能够表示的数据范围。一般的采样位数为8位或16位，即把声音采集为256等份或65536等分。量化位数越高音质越好，但数据量也大 第22页/共42页二、音频的数字化声道数声道数声道数声道数 纪录声音时，如果每次生成 1个声波数据，称为单声道；每次生成 2个声波数据，称为立体声（双声道），立体声更能反映人的听觉感受。有单声道、双声道和多声道。如

12、多种语言音频混存时，需要多声道。第23页/共42页二、音频的数字化数据量数据量数据量数据量 可以用下面的公式估算声音数字化后每秒所需的存储量：(采样频率每点采样位数声道数)数据量 8(字节/秒)第24页/共42页二、音频的数字化例：例：例：例：数字激光唱盘（CD-DA，红皮书标准）的标准采样频率为44.1kHz，量化位数为16位，立体声（这就是所谓的CD音质），可以几乎无失真地播出频率高达22kHz的声音，这也是人耳所能听到的最高声音频率。1分钟CD-DA音乐所需要的存储量为多少？(44.1*1000*16*2*60)/8=10584000 B(44.1*1000*16*2*60)/8=105

13、84000 B第25页/共42页二、音频的数字化声音数字化三要素声音数字化三要素:采样频率采样频率量化位数量化位数声道数声道数每秒钟抽取声波每秒钟抽取声波幅度样本的次数幅度样本的次数每个采样点用多少二每个采样点用多少二进制位表示数据范围进制位表示数据范围使用声音通道的使用声音通道的个数个数采样频率越高采样频率越高声音质量越好声音质量越好数据量也越大数据量也越大量化位数越多量化位数越多音质越好音质越好数据量也越大数据量也越大立体声比单声道立体声比单声道的表现力丰富，的表现力丰富，但数据量翻倍但数据量翻倍11.025kHz11.025kHz22.05 kHz22.05 kHz44.1 kHz44.

14、1 kHz 8 8位位256 256 个值个值1616位位6553665536个值个值单声道单声道立体声立体声第26页/共42页三、数字音频的文件格式1 1、波形音频、波形音频 波形音频是多媒体计算机获得声音最直接、最简便的方式。波形音频是多媒体计算机获得声音最直接、最简便的方式。在这种方式中，声卡对输入源声音采样、量化，完成在这种方式中，声卡对输入源声音采样、量化，完成A/DA/D转换，并以适当转换，并以适当的格式存入硬盘。声音重放时，声卡再完成的格式存入硬盘。声音重放时，声卡再完成D/AD/A转换转换 波形文件是windows所使用的标准数字音频文件，文件扩展名是.WAV第27页/共42页

15、三、数字音频的文件格式 wav wav wav是是是Microsoft/IBMMicrosoft/IBMMicrosoft/IBM共同开发的共同开发的共同开发的PCPCPC波形文件。因未经压缩，文件数据量很大。波形文件。因未经压缩，文件数据量很大。波形文件。因未经压缩，文件数据量很大。特点：声音层次丰富，还原音质好特点：声音层次丰富，还原音质好特点：声音层次丰富，还原音质好 缺点：文件太大，不适合长时间记录。缺点：文件太大，不适合长时间记录。缺点：文件太大，不适合长时间记录。2.2.MP3MP3文件文件 MP3(MPEG Audio layer 3)MP3(MPEG Audio layer 3

16、)是一种按是一种按MPEGMPEG标准的音频压缩技术制作的音频文件。标准的音频压缩技术制作的音频文件。特点：高压缩比特点：高压缩比(11:1)(11:1)，优美音质，优美音质第28页/共42页三、数字音频的文件格式 3.WMA3.WMA3.WMA文件文件文件文件文件文件 WMA(Windows Media Audio)WMA(Windows Media Audio)是是是是WindowsWindows MediaMedia格式中的一个子集格式中的一个子集格式中的一个子集格式中的一个子集格式中的一个子集格式中的一个子集(音频格式音频格式音频格式音频格式音频格式音频格式)。特点：压缩到特点：压缩到

17、特点：压缩到特点：压缩到MP3MP3一半一半一半一半 4.MID4.MID文件文件 MIDIMIDI(乐器数字接口乐器数字接口)是由一组声音或乐器符号的集合。是由一组声音或乐器符号的集合。特点：数据量很小，缺乏重现自然音特点：数据量很小，缺乏重现自然音第29页/共42页四、音频信号的特点 1 1、音频信号是时间依赖的连续媒体。具有很强的连续性和时变性；、音频信号是时间依赖的连续媒体。具有很强的连续性和时变性；2 2、计算机模拟自然声音时，理想的合成声音应是立体声。计算机模拟自然声音时，理想的合成声音应是立体声。3 3、语音信号的处理、语音信号的处理 第30页/共42页四、音频信号的特点 从人与

18、计算机交互的角度看，音频信号的处理包括下述3点：vv计计算算机机与与人人通通信信，也也就就是是计计算算机机输输出出音音频频。包包括括音音乐乐合合成成、语语音音合合成成、声声音的定位以及音频视频的同步。音的定位以及音频视频的同步。vv人人-计计算算机机-人人通通信信。人人通通过过网网络络与与异异地地的的人人进进行行语语音音通通信信，相相关关的的音音频频处处理理有有语语音音采采集集、音音频频的的编编码码和和解解码码、音音频频的的存存储储、音音频频的的传传输输、基基于于内内容容的检索等。的检索等。vv人人与与计计算算机机通通信信，也也就就是是计计算算机机接接收收音音频频信信号号。包包括括音音频频获获

19、取取、语语音音的的识识别和理解。别和理解。第31页/共42页2.2 声卡与音箱一、声卡的构成原理二、声卡的性能指标三、音箱第32页/共42页 声卡是负责录音、播音和声音合成的一种多媒体板卡。一、声卡(又称声音卡、音频卡)录制、编辑和回放数字音频文件 控制和混合各声源的音量 记录和回放音频时进行压缩和解压缩 语音合成技术(朗读文本)具有MIDI接口(乐器数字接口)1.声卡的主要功能 第33页/共42页 2.声卡的组成原理线性输出总线接口芯片数字音频处理芯片音乐合成器A/D和D/AMIDI接口混音器CD接口计算机总线话筒输入线性输入扬声器输出第34页/共42页3.声卡的性能指标 采样和量化能力采样

20、和量化能力 衡量音响器材音质好坏。衡量音响器材音质好坏。采样频率：11.025kHz (语音效果)22.05 kHz (音乐效果)44.1 kHz (高保真效果)量化等级：8位/256级 (语音质量)16位/65536级(高保真质量)第35页/共42页 (2)FM(2)FM合成与波形表合成与波形表 大多数普及型声卡采用FM合成法（与家用电子琴类似），即通过正弦波相互调制来模拟真实的乐器声音。较好的声卡采用的是波形表合成技术来实现音乐合成(即所谓的波表卡)。波形表包含有真实乐器声音波形的数字记录，在演奏时将相应乐器的波形记录播放出来。第36页/共42页 (3)(3)芯片类型芯片类型 -CODEC

21、芯片(依赖CPU，价格便宜)-数字信号处理器DSP(不依赖CPU)(4)(4)总线类型总线类型 -ISA总线、PCI总线、USB接口 (5)(5)输出声道数输出声道数 -2-2声道声道(立体声立体声)、2.1/4.1/5.12.1/4.1/5.1声道声道 多通道声卡多通道声卡(营造杜比环绕立体声营造杜比环绕立体声)(6)(6)信噪比信噪比(SNR)(SNR)-信噪比越高,声音听起来就越清晰第37页/共42页4.声卡的外部接口第38页/共42页二、音箱 音箱是一种电声转换的发音设备，它由箱体、扬声器、电源和信号放大器等组成。分类：2.0双声道立体声 2.1/4.1/5.1/7.1 5.1五声道超重低音声道第39页/共42页杜比环绕立体声技术第40页/共42页练习与思考音频信号的频率范围大约是多少？话音信号频率范围大约是多少？什么是模拟信号？数字信号？采样、量化、线性量化、非线性量化采样频率根据什么原则来确定？选择采样频率为22.05kHz和样本精度为16位的录音参数。在不采用压缩技术的情况下，计算录制2分钟的立体声需要多少MB的存储空间？第41页/共42页感谢您的观看！第42页/共42页