语音信息处理及相关的语言信息处理精品文稿.ppt

《语音信息处理及相关的语言信息处理精品文稿.ppt》由会员分享，可在线阅读，更多相关《语音信息处理及相关的语言信息处理精品文稿.ppt（39页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、语音信息处理及相关的语言信息处理第1页，本讲稿共39页语音信息处理及相关的语言信息处理语音信息处理是人机交互的重要组成部分。主要包括语音合成和语音识别。l 语音合成是将文字转换成语音；l 语音识别是将识别语音转写成文字。2第2页，本讲稿共39页演示Chinese TTVSVoice masker3第3页，本讲稿共39页什么是语音合成?l 语音合成就是让计算机象人那样讲话。l 语音合成的研究目标是：可懂、清晰、自然、具有表现力。某人问你：你愿意和我一起去看电影吗？你的回答可能是：“是的，我很高兴和你一起去看电影。”（肯定，高兴）“抱歉，我不能和你一起去看电影，因为我要去开会。”（无可奈何）“不去

2、，还是你自己去看吧。”（否定）人们用语言进行交流时，用声音来表达事实，也表达意向、情感。计算机也应该像人那样讲话。4第4页，本讲稿共39页语音合成系统的发展讲话机（Wolfgang）1791年 1990年代数据驱动拼接合成（Festival）1980年代规则驱动共振峰合成（DecTalk）合成语音可懂与清晰目前高表现力的语音合成合成语音自然且表现丰富高表现力的合成可懂度、清晰度高自然度较好，语调平缓表现力（情感、风格、个性化）欠佳自然语音计算机生成语音合成算法韵律表现5第5页，本讲稿共39页l 文语转换（TTS）是语音合成技术的延伸，它能把计算机内的文本转换成连续自然的语声流。l Text T

3、o Speech synthesis involves the computation of a speech signal from input text.文字-语音转换（Text To Speech）6第6页，本讲稿共39页什么是语音识别?l 语音识别就是让计算机听懂人的讲话。l 语音识别的研究目标是：听懂连续自然、非特定人。7第7页，本讲稿共39页语音信息处理及相关的语言信息处理l 语音是语言的外壳，文字是语言的转写。l 韵律、语法和语义均为语言信息处理的内容。它们相互联系、相互制约，共同构成语言理解的基础。然而对上述语言信息的分析和研究是独立展开的。介绍语音信息处理的基本组成和原理，特

4、别关注语音信息处理中与文字相关的问题。8第8页，本讲稿共39页预处理语言学处理波形拼接合成语音学处理文本语音语音 数据库TTS 的系统结构文本分析 韵律生成 语音合成9第9页，本讲稿共39页 TTS的系统结构文本分析合成算法基元选取10第10页，本讲稿共39页文本分析模块流程语句切分文本规范化符号处理数字处理词典分词合并韵律词合并韵律短语变音处理参数生成12号的天气的确好。12号的天气的确好/。十二号的天气的确好十二/m 号/q 的/u 天气/n 的确/d 好/a十二号的天气/的确好shi2 er4 hao4 de5|tian1 qi4/di2 que4 hao3/读音韵律信息文本11第11页

5、，本讲稿共39页文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l 根据回车、换行、或其他设置的分句符号进行句子的切分。l 后续的处理针对当前得到的句子12第12页，本讲稿共39页文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l 将语句切分成一个一个的片段Piece，每个Piece具有相同的类别，如：数字、符号、英文字母串(Letter)、汉字等等l 患者115万人，并且每年又以1500例的速度快速大幅增加。13第13页，本讲稿共39页文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l 进行相关标点符号的处理l数字中,的处理l12.3、166.111.68.14

6、2lkm、T等量词的处理l年份1998/07/20、97-10-10、1999.07.05等等l时间23:05:03、比值l5、电话中BP机呼号、区号、转分机等等、5、80100、减号等14第14页，本讲稿共39页文本分析模块流程语句切分文本规范化符号处理数字处理词典分词l 数字读法的处理l 比如年份、公元、日期、电话、电报等等15第15页，本讲稿共39页文本分析模块流程词典分词l分词，标记词性合并韵律词合并韵律短语变音处理参数生成l分词不准确许多年轻人手牵五彩的气球合影留念。l分词单位太大自民党领导人日里诺斯基1946年4月出生。发展中国家l语法词与韵律词不等同l我 买 了 八 本 书。16

7、第16页，本讲稿共39页文本分析模块流程词典分词合并韵律词合并韵律短语变音处理参数生成17第17页，本讲稿共39页 广义的定义：广义地说,韵律结构应当包括重音、节奏和语调三个方面的结构。例如重音的位置分布及其等级差异，韵律边界的位置分布及其等级差异，语调的基本骨架及其跟声调和重音的关系。主要讨论韵律切分问题。包括韵律词的组成与韵律短语切分等等，也就是说话时组词断句的模式，它属于语音的节奏方面的问题。汉语的韵律结构的定义18第18页，本讲稿共39页 韵律成分从小到大依次是莫拉、音节、音步、音系词（phonological word）、附着语素词组、音系短语（phonological phrase

8、)、语调短语和韵律语句。一个较小的韵律成分包含在一个更大的韵律成分中。汉语的韵律成分19第19页，本讲稿共39页汉语的韵律成分 LevelTags0 1 2 3 4 5Break Reduced syllabic boundaryNormal syllabic boundaryProsodic word(PW)Prosodic phrase(PPh)Breath group(BG)Prosodic group(PG)Emphasis Reduced Normal moderate strong*Speech Ratevery slow slow normal quick very quick*

9、Volume very low low normal high very high*Pitch very low low normal high very high*Range very smallsmall normal large very large*20第20页，本讲稿共39页我永遠忘不了 一張對日抗戰時的新聞照片，轟炸後的廢墟焦土上，一個衣不蔽體、滿身塵土灰煙的幼兒坐在地上 無助的大哭著。那是一再令我熱淚盈眶的鏡頭。新聞攝影中的戰爭傳真 已不能只稱是照片了。口语语音的例子几处停顿？这句话是否结束？台湾：郑秋豫教授21第21页，本讲稿共39页 韵律层级结构：韵律词（prosodic w

10、ord）:一般为三个音节以下的语法词或词组，内部不出现节奏边界 韵律短语（Prosodic phrase）：由一个或几个韵律词组成，具有相对稳定的短语语调模式和短语重音配置模式 语调短语（intonation phrase):长于韵律短语。在语法上相当于较短的句子或较长的短语，韵律短语之间有音高重设汉语的韵律结构的定义22第22页，本讲稿共39页三层韵律层级结构图U：语调短语，PP：韵律短语，PW：韵律词相应的语法结构图S：句子，NP：名词短语，VP：动词短语 韵律结构是无递归的：韵律词的边界一般是语法词的边界，而韵律短语的边界一般是韵律词的边界 韵律词、韵律短语、语调短语分别处于不同的层级上

11、，一般没有嵌套关系的存在 平均长度满足，Len(韵律词)Len(韵律短语)Len(语调短语)语法结构相对复杂：短语类型之间存在嵌套的包含关系，比如NP内部可以有更小的NP等 汉语的韵律结构与语法结构图23第23页，本讲稿共39页“语法词”-从句法学的角度定义；词典词的长度为1-13个汉字“韵律词”-从韵律学的角度来定义。韵律词一般是三音节以下的语法词或词组，属于一个音步的结构。l 韵律短语一般是四九音节。如假定所有的语法词边界都是韵律词边界，正确率为42.99%；如果都是韵律短语边界，正确率仅为19.20%。韵律与句法24第24页，本讲稿共39页句法支配韵律:l 韵律边界以句法结构为基础；l

12、韵律边界层次总是倾向于同句法结构的层 次保持某种程度的一致；l 句法边界不是设置韵律边界的必要条件。韵律与句法句法和韵律间有密切的联系和制约关系。汉语韵律句法学冯胜利25第25页，本讲稿共39页句法独立于语音！但是：“一衣/带水”（一条如衣带一样宽的河水）“而立/之年”（“而”是连词）“种植花”提拔高，浇灌花，阅读报，修改正，获得罪，超越轨“鞠了一个躬”“被攻”“被祸害”（是韵律的产物）韵律与句法汉语韵律句法学冯胜利26第26页，本讲稿共39页韵律制约句法:l 韵律打乱句法原有的成分结构：“我被/老板/训了”l 韵律可使一些非法句法合法化；l 韵律可制约一些合法的句法变成非法；“种植/花草”可

13、以说，“种花草”也同样合法。l 韵律可在句法不能运作的禁区发生效力；l 语流中语音分段首先服从韵律分界：狗咬/吕洞宾。吕洞宾/吃饭韵律与句法27第27页，本讲稿共39页l 韵律规则：相对轻重原则（一对轻重的组合体）音步二分法（必须至少有两个成分组成）音步的单核原则音节的轻重对立词汇的虚实与轻重l 韵律规则之间的协作与冲突：韵律成分与节奏28第28页，本讲稿共39页轻重音可以消除歧义l 刘英要煎饼。(jian1bing3：指“把饼煎一煎”/jiang1bing5：指一种食品)l 他一个早晨就写了三封信。（“就”轻读时指效率高，能写三封信/“就”重读时指效率低，只写了三封信）韵律与句法29第29页

14、，本讲稿共39页基于句法信息的韵律成分界定 选取更有效的句法特征则成为提高韵律成分界定正确率的重要保证。在实验中我们选取了词性、词语、词长、词频及句子长度等一些句法信息作为界定韵律成分的特征。30第30页，本讲稿共39页韵律结构预测实际是一个分类问题：句子，令 表示 和 的边界类型：语法分词边界、韵律词边界、韵律短语边界。针对韵律词和韵律短语分别设计统计模型。综合所有特征的，计算出 作为某类边界的总的概率频度值F，根据一定的原则及F的大小判断它属于的边界类型。统计计算出每个特征取值的概率频度，基于概率频度的统计模型算法 四个步骤：1.特征提取1.词法特征：语法词,词频2.语法特征：词性3.长度

15、及位置特征：词长,句中的位置2.样本训练3.构建概率频度统计模型郑敏31第31页，本讲稿共39页实验数据的准备语料库I是实验室已有的标准语料库，共3167个句子，文本来自新闻、小说、散文等各个方面，由专业播音员用正常语速朗读。两名有经验的标注人员通过听录音和参照录音文本标上两级韵律边界信息，标注的一致率达到98.5%。该语料覆盖了汉语所有的有调音节和词性，总共有 总共有56446 56446个汉字，个汉字，37669 37669个语法词。个语法词。16194 16194个韵律词边界和 个韵律词边界和7231 7231个韵律短语边界 个韵律短语边界。语料库I 语料库II文本全部来自人民日报，语料

16、库总共包含5403个长句，17859个子句，总共有 总共有130265 130265个汉字，个汉字，52106 52106个语法词，个语法词，27917 27917个韵律词边界和 个韵律词边界和18148 18148个韵律短语边界。个韵律短语边界。32第32页，本讲稿共39页韵律结构预测的综合评价参数人工标注的类型 预测得到的类型LW PW PPLW C00C01C02PW C10C1 1C12PP C20C21C22C12：人工标注类型为PW，被预测为PP 的数目 韵律结构预测的分类混淆矩阵 1.语法词预测的正确率：2.语法词预测的召回率：3.韵律词预测的正确率：4.韵律词预测的召回率：6.

17、韵律短语预测的召回率：5.韵律短语预测的正确率：综合评价参数：7.韵律预测的综合参数：33第33页，本讲稿共39页三种算法的实验结果比较 我们将C4.5归纳学习、TBL转换规则学习算法和基于概率频度的统计模型三种方法进行了比较实验。在这三种算法中提取了类似的词性、词语、词长、词频等特征，在相同的语料库I和II上作了两组比较实验。实验中选取语料库的前2/3作为训练数据，后1/3作为测试数据。算法 APWRPWMPWAPPRPPMPPC4.5 0.822 0.814 0.818 0.829 0.712 0.766TBL 0.848 0.782 0.814 0.613 0.851 0.713统计模型

18、 0.917 0.881 0.899 0.852 0.837 0.844表1 统计模型、C4.5和TBL三种算法在语料库I上的比较结果算法 APWRPWMPWAPPRPPMPPC4.5 0.808 0.776 0.792 0.721 0.684 0.702TBL 0.823 0.794 0.808 0.637 0.722 0.677统计模型 0.895 0.833 0.863 0.839 0.780 0.808表2 统计模型、C4.5和TBL三种算法在语料库II上的比较结果34第34页，本讲稿共39页文本分析模块流程l 变调：老虎，555，5599l 轻声：l 多音字l 重音？词典分词合并韵律

19、词合并韵律短语变音处理参数生成35第35页，本讲稿共39页多音字现象l 存在多音字，多音词l 形式上相同，但具有不同语法，语义功能的词。l 250万字语料，多音字占8.95l 举例如下：1.我们种了茄子 动词，zhong42.一种新的算法 量词，zhong33.你真有种 名词，zhong34.各种各样 包含在词的内部，zhong35.种小明刚刚毕业 作为姓氏，chong2l（Xin,2001）主要利用了语义词典Hownet l（Hong，2001）人工定义的上下文模式和语法信息l 问题：使用语义词典，需要语义标注；人工规则费时费力36第36页，本讲稿共39页中文的多音字词典中包含了682个多音

20、字，大部分有的已经有主要的读音，有的其使用频度较低，不必要对所有的多音字读音总结规则核心多音字选择的标准：多音字的使用频度 多音字的出现次数相差很大 常用多音字覆盖的累计出现频度 多音字字音转换的初始正确率 若初始正确率已接近100%，则没必要对这类多 音字总结读音规则，如“会(hui4,kuai4)：100%”多音字主要读音的使用频度“的”(de0,di2,di4):其中读音“de0”占了99%“了”(le0,liao3):其中读音“le0”占了 98%“为”(wei2,wei4)：其中读音“wei2”占 58%，读音“wei4”占42%.多音字 在语料库中的出现次数一 2333为 775地 582冠 38卷 32铺 31前N 个多音字 累计出现频度10 28.1%50 59.6%100 78.4%150 88.2%200 93.9%220 95.6%250 97.6%不重要的重要的核心多音字的选择37第37页，本讲稿共39页连续语音识别 大词汇表连续语音识别基本原理框图 拼音输入法 38第38页，本讲稿共39页谢谢！第39页，本讲稿共39页