第三讲 语音合成概述 背景 目标 基本问题 技术历程 典型系统

第三讲 语音合成概述 背景 目标 基本问题 技术历程 典型系统

背景 计算机的普及 人机自然语言交互 语音合成在人机交互系统中的作用 语音合成的其它应用 Speech Recognition Natural Language Understanding Dialog Manager Speech Synthesis Natural Language Generation Information Database Speech In Speech Out 计算机的普及 人机自然语言交互 语音合成在人机交互系统中的作用 语音合成的其它应用

第三讲 语音合成概述 背景 目标 基本问题 技术历程 典型系统

目标 “让计算机像人一样说话” 现阶段-TTS 前瞻性-CTS 等待时机-ITS 从文字到语音TTS（Text-To-Speech） 从概念到语音CTS（Concept-To-Speech） 从意念到语音ITS（Intention-To-Speech） 现阶段-TTS 前瞻性-CTS 等待时机-ITS

第三讲 语音合成概述 背景 目标 基本问题 技术历程 典型系统

基本问题 原因 从语音到文字的信息缺失 从文字到语音（TTS） 从文字到发音描述 发什么音 如何发音 从发音描述到语音合成

第三讲 语音合成概述 背景 目标 基本问题 技术历程 典型系统

技术历程 1937，Voder，Bell Lab.， H. Dudly 1962，级联共振峰，KTH，G. Fant 1970s 1980s 1990s 2000s Quality Time Format PSOLA Unit-selection: Segment-oriented Prosody-oriented Excellent: Human-liked Fair: acceptable Bad: unacceptable 1937，Voder，Bell Lab.， H. Dudly 1962，级联共振峰，KTH，G. Fant 1970s，混合共振峰，MIT，D. Klatt 1986，PSOLA，F. Charpentier 2000s，Unit-selection，N. Campbell & A. Black

技术历程 1937，Voder，Bell Lab.， H. Dudly 1962，级联共振峰，KTH，G. Fant 1970s 1980s 1990s 2000s Quality Time Format PSOLA Unit-selection: Segment-oriented Prosody-oriented Excellent: Human-liked Fair: acceptable Bad: unacceptable 1937，Voder，Bell Lab.， H. Dudly 1962，级联共振峰，KTH，G. Fant 1970s，混合共振峰，MIT，D. Klatt 1986，PSOLA，F. Charpentier 2000s，Unit-selection，N. Campbell & A. Black 音色，孤立音段 音色，孤立词 音色、韵律，语句 韵律，语句

第三讲 语音合成概述 背景 目标 基本问题 技术历程 典型系统

典型系统 基于单元挑选的TTS系统构成（韵律导向） 两个模块 一个接口，发音描述 数据库，合成单元 前端：文本处理，从文字到发音描述 Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 基于单元挑选的TTS系统构成（韵律导向） 两个模块 前端：文本处理，从文字到发音描述 后端：语音处理，从发音描述到语音合成 一个接口，发音描述 数据库，合成单元

典型系统 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Frontend Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年

典型系统 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend POS (Part Of Speech) 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)

典型系统 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t) Prosodic Event: OutPut PWord Layer: 北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 t OutPut PPhrase Layer: ## 北京交通大学## 成立于## 一八九六年 OutPut IPhrase Layer: ## 北京交通大学成立于一八九六年 OutPut Sentence Layer: ## 北京交通大学成立于一八九六年

典型系统 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Text Normalization:北京交通大学成立于1896年 Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t) Prosodic Event: OutPut PWord Layer: 北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 t Phonetizer:北 bei3 京 jing1(BL :北京) 交 jiao1(BL :交通) 通 tong1(BL :交通) 大 da4(BL :大学) 学 xue2(BL :大学) 成 cheng2(BL :成立) 立 li4(BL :成立) 于 yu2(BL :于) 一 yi1(BL :一八九六年) 八 ba1(BL :一八九六年) 九 jiu3(BL :一八九六年) 六 liu4(BL :一八九六年) 年 nian2(BL :一八九六年)

典型系统 Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Interface: {2 {1 ^2 %0 {0 ^2 %0 [ @ng ^2 %0 < @npr ( #bei3 &MC $北 ) ( #jing1 &MC $京 ) > ] [ @ng ^2 %0 < @ng ( #jiao1 &MC $交 ) ( #tong1 &MC $通 ) > ] [ @ng ^2 %0 < @ng ( #da4 &MC $大 ) ( #xue2 &MC $学 ) > ] 0} {0 ^2 %0 [ @vg_pg ^2 %0 < @vgo ( #cheng2 &MC $成 ) ( #li4 &MC $立 ) > < @pg ( #yu2 &MC $于 ) > ] 0} {0 ^2 %0 [ @t ^2 %0 < @t ( #yi1 &MC $一 ) ( #ba1 &MC $八 ) ( #jiu3 &MC $九 ) ( #liu4 &MC $六 ) ( #nian2 &MC $年 | ) > ] 0} 1} 2}

典型系统 例：北京交通大学成立于1896年。 Prosodic Acoustic Predictor: Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Prosodic Acoustic Predictor: GMM(bei3) GMM(jing1) GMM(jiao1) GMM(tong1) GMM(da4) GMM(xue2) GMM(cheng2) GMM(li4) GMM(yu2) GMM(yi1) GMM(ba1) GMM(jiu3) GMM(liu4) GMM(nian4) Segment Acoustic Predictor: occ(bei3) occ(jing1) occ(jiao1) occ(tong1) occ(da4) occ(xue2) occ(cheng2) occ(li4) occ(yu2) occ(yi1) occ(ba1) occ(jiu3) occ(liu4) occ(nian4)

典型系统 例：北京交通大学成立于1896年。 Prosodic Acoustic Predictor: Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Prosodic Acoustic Predictor: GMM(bei3) GMM(jing1) … Segment Acoustic Predictor: occ(bei3) occ(jing1) … Unit Selection: argmin cost(sam(bei3),sam(jing1),sam(jiao1),…) Corpus: bei3 jing1

典型系统 例：北京交通大学成立于1896年。 Prosodic Acoustic Predictor: Parser Prosodic Event Predictor Phonetizer Prosodic & Phonemic context Prosodic Acoustics Predictor Segment Acoustics Predictor Unit Selection Speech Synthesizer Text Normalization Corpora: speech phonetic alignment, prosodic parameter Dictionary: Lexicon, Rules, Homograph Input text Interface Output speech Frontend Backend 例：北京交通大学成立于1896年。 Prosodic Acoustic Predictor: GMM(bei3) GMM(jing1) … Segment Acoustic Predictor: occ(bei3) occ(jing1) … Unit Selection: argmin cost(sam(bei3),sam(jing1),sam(jiao1),…) Corpus: bei3 jing1… Speech Synthesizer:北京交通大学成立于1896年。

后续题目 基础知识 韵律 原理分析 关键技术 数据库构建 文本处理 声学建模 最优搜索/合成器 相关研究 音色调整/转换 HMM合成器 挑战

基于数据驱动的韵律建模 Two trainable components: based on an annotated corpus Prosodic event predictor Prosodic parameter predictor

韵律功能 Prosody structure Intonation Accent Mood Ex. 1, 已经取得文凭的和尚未取得文凭的干部 Ex. 4, 明天是个晴天,最高气温... (flat) Ex. 5, 明天是个晴天!我们可以... (glad) Ex. 6, 明天是个晴天? (interrogative) Accent Ex. 7, 明天是个晴天 vs. 明天是个晴天 Mood Ex. 8, 明天是个晴天 glad vs. 明天是个晴天 sad prosody is not all for mood, timbre is changed also

韵律的声学实现 In acoustic, prosody is presented as the variances of pitch duration intensity pause

韵律描述 C-ToBI defined 1'st, prosody structure coming, accent index 知觉判断等级与韵律层级结构对应 coming, accent index

汉语韵律层次 韵律结构标注，按照语调短语、中间短语、音步/韵律词三个韵律层级，描述每段发音。 语调短语（intonational phrase）：具有完整的语调，听感上可独立成句的一段发音 音步（foot）：节奏的基本单位，一般由两个或三个音节构成，少数为单音节。 韵律词（prosodic word）： 所有的句法词 具有类似词的连调模式和词重音模式、较短的词组 其它凡是属于一个音步的结构 跨度为1-4个音节，极大多数为2-3个音节, 少数为单音节和四音节结构。 中间短语（intermediate phrase）： 介于语调短语和韵律词之间的节奏单元 由一个或多个韵律词构成 中间短语之间可能存在嵌套结构

韵律标注 依据听觉进行边界类型的判断，并辅助以特定类型处理的约定 听觉判决所依据的线索 标注符号 特定类型约定 基频重置，边界末音节展延，停顿，节奏的变化 需从全局的、层级的角度考察每段发音 标注符号 BP2: 用以界定语调短语边界 BP1：用以界定中间短语边界 BP0：用以界定有明显停顿的音步/韵律词间的边界 空格：用以界定音步/韵律词边界 *：用以界定韵律词内的音步边界 特定类型约定 位于短语边界的、听感上轻读的、作为短语间过渡的虚词，倾向于划归后一短语 BP0为音步边界，且具有明显的停、顿，倾向于从严标出

一个韵律结构标注的例子 S1 编者 按(BP2)世界上(BP1) 有些事 是 相似的(BP2)甚至(BP0)惊人地 相似 Problem of consistency training acceptable

韵律的深层次标注 Accent Index What is AI Sample 催眠师有相当的威望 Why is AI needed 体现语义上的着重和聚焦的一种韵律特征 Domains: word level: lexical stress sentence level: prominence, focus, emphasis, accented Why is AI needed more smooth voice more expressive synthesis voice AI acoustic realization relativity: relative accented/unaccented universal: integrate AI prosody function New topic Focus Stress pattern (技术/计数)

AI初步实验 accent index automatically detecting based on the hierarchically prosodic structure prosodic approximation-ratio of the syllable as the indicator, ref. to Xu Yi’s work prosodic parameters predicted with AI Samples 催眠师有相当的威望

课程报告4 语音合成综述及专题 阅读 在线演示 报告一，综述报告 （提交：3-31） 报告二，专题报告 （提交：4-14） 《现代语音技术-基础与应用》第五章，蔡莲红等编著，清华大学出版社，2003 王仁华：“语音合成技术最新研究进展及其应用展望” 初敏 http://research.microsoft.com/users/minchu/ Interspeech, ieee ssw, icassp, speech prosody 在线演示 科大讯飞 http://www.iflytek.com/ 捷通华声 http://www.sinovoice.com.cn/ 报告一，综述报告 （提交：3-31） 思考 文语转换系统的任务 基于数据库的文语转换系统的实现模块 要求：参考文献3篇以上，相关分析注明出处 报告二，专题报告 （提交：4-14） 四个专题选一： 数据库、文本分析、韵律模型、波形拼接/合成器 具体算法 篇幅要求：2页（5号字） 文件命名：学号_姓名_报告名称