上海交通大学计算机系 吴亚栋 E-mail:ydwu@mail.sjtu.edu.cn Tel: 62932057 语音识别基础 第五章 基于统计模型(HMM)方式 的语音识别技术 上海交通大学计算机系 吴亚栋 E-mail:ydwu@mail.sjtu.edu.cn Tel: 62932057

第五章 基于统计模型(HMM)方式 的语音识别技术 5.1 基于统计模型框架的识别法* 5.2 隐马尔柯夫模型(HMM)的概念* (HMM:Hidden Markov Models) 5.3 HMM的三个基本问题* 5.4 基于HMM的语音识别方案*

第五章 回家作业 提交时间：

5.1 基于统计模型框架的识别法 5.1.1 预备知识 5.1.2 基于统计模型框架的识别法* (1)条件概率 P(A|B) P(A|B) = P(A,B)/P(B) P(A,B)：表示A与B的联合概率。 (2)Bayes定理 P(A|B) = P(B|A)P(A)/P(B) (3)事件的独立性 P(A,B) = P(A)P(B) 5.1.2 基于统计模型框架的识别法*

5.2 隐马尔柯夫模型(HMM)的概念 5.2.1 马尔柯夫过程* 5.2.2 隐马尔柯夫模型的概念* 的生成方式*

5.3 HMM的三个基本问题及其解法 5.3.1 HMM三个基本问题 5.3.2 模型评估问题的解法* 5.3.3 最佳路径问题的解法* - 模型评估问题(如何求：P(O|λ)) - 最佳路径问题(如何求：Q=q1q2…qT) - 模型训练问题(如何求：A 、B 、π) 5.3.2 模型评估问题的解法* 5.3.3 最佳路径问题的解法* 5.3.4 模型训练问题的解法

5.4 基于HMM的语音识别方案 · · HMM(3) HMM(2) 语音信号输入 预处理 码本 HMM(1) 训练 X O 声学参数分析 VQ · VITERBI 计算 识别 X:特征矢量的时间序列 O:基于VQ的观察符号序列 判决规则

基于统计模型框架的识别法(1) 语音识别问题的形式化描述 -设：(1)待识语音的特征模式：T =t1,t2,…, tI (2)词汇表中第ｎ个单词：W(n), 1≤n≤N (3)当T 被观察到后，与T 对应的发声内容是 单词 W(n)的概率： P( W(n)|T ) -语音识别问题的形式化描述： k = argmax{ P( W(n)|T ) } n

基于统计模型框架的识别法(2) P(W(n)|T )= P(T |W(n))P(W(n))/P(T ) 声学模型与语言模型 k = argmax{P(T |W(n)) · P(W(n))} n 模式匹配与统计模型(T :待识语音) 模式匹配 统计模型 词 汇 表 W(k), 1≤k≤N 词 汇 表 W(k), 1≤k≤N 参考模式 R(k), 1≤k≤N 参考模型 M(k), 1≤k≤N 失真侧度 Dk = D(T,R(k)) 概率侧度 P(T|M(k)) -Dk:DTW距离 -P: 由M(k)生成T 的概率 判 别 n = argmin{Dk} 判 别 n=argmax{P(T|M(k))} 1≤k≤N 1≤k≤N 识别结果 W(n) 识别结果 W(n) 声学模型 语言模型

马尔柯夫过程 语言的马尔柯夫模型 P(Ci,Cj) = P(Ci)P(Cj|Ci) P(Ci,Cj,Ck) Cl P(Cj | Ci) P(Ck | Cj) P(Cl | Ci) 一阶马尔柯夫过程 语言的马尔柯夫模型 P(Ci,Cj) = P(Ci)P(Cj|Ci) P(Ci,Cj,Ck) = P(Ci)P(Cj|Ci)P(Ck|Cj) 天气的马尔柯夫模型 观察日期： 1 2 3 4 5 6 7 8 观察序列(O)： 晴晴晴雨雨晴多云晴 状态转移序列：3 3 3 1 1 3 2 3 状态输出概率P(O|λ)： P(O|λ) = P(3,3,3,1,1,3,2,3 |λ) = P(3)P(3|3)P(3|3)P(1|3) P(1|1)P(3|1)P(2|3)P(3|2) 天气的马尔柯夫模型 0.4 0.6 0.8 0.2 0.1 0.3 1： 多云 3： 晴天 初始状态 P(3)=1.0 2： 雨天

隐马尔柯夫模型的概念 双重随机过程 - 依存于状态的观察事件的随机性 - 状态转移的随机性 观察序列(H：正面；T：反面)： O={o1,o2,…,oT} H,H,T,…,T 1-a11 1-a22 a22 a11 P(H) = P2 P(H) = P1 P(T) = 1-P1 P(T) = 1-P2 1 2 硬币投掷试验模型

HMM模型的要素及其模型描述 模型要素： 模型描述： λ=(A, B, π) (1)N：模型中的状态数目 (3)A = {aij}：状态转移概率分布 (4)B = {bj(k)}：观察符号的概率分布 (5)π= {πi}：初始状态概率分布 模型描述： λ=(A, B, π)

基于HMM的观察符号序列的生成方式 当给定模型λ(A, B,π)后，就可将该模型看成 一个符号生成器(或称信号源)，由它生成观察 序列 O= o1o2 … oT。其生成过程(也称HMM过程)是： (1)初始状态概率分布π，随机选择一个初始状态 q1 = Si； (2)置 t = 1； (3)按状态 Si 的符号概率分布bi(k)，随机产生一个输出符号 ot = Vk； (4)按状态 Si 的状态转移概率分布aij，随机转移至一个新的状态 qt+1 = Sj (5)令t = t + 1，若 t≤ T，则返回步骤（3），否则结束过程。

[ ] 模型评估问题的解法(1) a b HMM 模型的例子 观察符号序列：abba 所有可能的路径： (1) S1-S1-S1-S2-S3 0.2 0.5 1.0 0.8 a b S1 S2 S3 0.6 0.4 [ ] 模型评估问题的解法(1) 当给定模型λ(A, B,π)以及观察序列 O =o1o2…oT时，计算模型λ对观察序列 O 的 P(O|λ)概率的思路是(穷举法)： (1)对长度为T 的观察序列O，找出所有 可能产生该观察序列O 的状态转移序 列 Qj =qj1 qj2 qj3 …qjT(j=1,2,…,J); (2)分别计算Qj与观察序列O 的联合概率 P(O, Qj|λ)； (2)取各联合概率P(O,Qj|λ)的和，即： J P(O|λ)=∑P(O,Qj|λ) j=1 HMM 模型的例子 观察符号序列：abba 所有可能的路径： (1) S1-S1-S1-S2-S3 (2) S1-S1-S2-S2-S3 (3) S1-S1-S2-S3-S3 (4) S1-S2-S2-S2-S3 (5) S1-S2-S2-S3-S3 (6) S1-S2-S3-S3-S3

[ ] 模型评估问题的解法(2) a b HMM 模型的例子 0.2 0.5 1.0 0.8 S1 S2 S3 0.6 0.4 P(O|λ)的一般解法： ∵ P(O,Qj|λ)= P(Qj|λ)P(O|Qj,λ) P(Qj|λ)= P(qj1)P(qj2|qj1)P(qj3|qj2) … P(qjT-1|qjT) = aj0,1 aj1,2 aj2,3 …ajT-1,T P(O|Qj,λ)= P(o1|qj1)P(o2|qj2) … P(oT|qjT) = b1j(o1) b2j(o2) b3j(o3) … bTj(oT) ∴ P(O,Qj|λ) = aj0,1b1j(o1) aj1,2 b2j(o2) … ajT-1,T bTj(oT) J J T P(O|λ)=∑P(O,Qj|λ)=∑{∏ ajt,tbtj(ot) } j=1 j=1 t=1 HMM 模型的例子

[ ] 模型评估问题的前向算法 a b Q: q1 q2 q3 q4 O: a b b a t 0.2 0.5 1.0 0.8 a b S1 S2 S3 0.6 0.4 [ ] 模型评估问题的前向算法 Q: q1 q2 q3 q4 O: a b b a t 1.0 0.0 0.1 0.4 0.01 0.12 0.08 0.001 0.028 0.088 0.0001 0.0088 0.0260 S1 S2 S3 0.5x0.2 0.5x0.8 0.2x1.0 0.6x0.5 0.4x0.5 0.8x1.0 采用前向算法求解P(abba|λ)概率的格型图

[ ] 最佳路径问题的解法 a b 最佳路径：S1-S2-S3-S3-S3 Q: q1 q2 q3 q4 O: a b b a t 0.2 0.5 1.0 0.8 a b S1 S2 S3 0.6 0.4 [ ] 最佳路径问题的解法 最佳路径：S1-S2-S3-S3-S3 Q: q1 q2 q3 q4 O: a b b a t 0.5x0.2 0.5x0.2 0.5x0.2 0.5x0.2 S1 S2 S3 1.0 0.0 0.1 0.4 0.0 0.01 0.08 0.001 0.016 0.064 0.0001 0.0088 0.0128 0.5x0.8 0.5x0.8 0.5x0.8 0.5x0.8 0.6x0.5 0.4x0.5 0.4x0.5 0.6x0.5 0.6x0.5 0.4x0.5 0.4x0.5 0.4x0.5 0.2x1.0 0.8x1.0 0.8x1.0 0.2x1.0 采用Viterbi算法求解产生观察 序列abba最佳路径的格型图