隐马尔可夫模型 Hidden Markov model

Slides:



Advertisements
Similar presentations
一、 一阶线性微分方程及其解法 二、 一阶线性微分方程的简单应用 三、 小结及作业 §6.2 一阶线性微分方程.
Advertisements

第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
第 3 节 人类遗传病. 自主学习 新 知突破 1 .识记人类遗传病的类型及特点。 2 .掌握人类遗传病的调查方法、监测、预防。 3 .了解人体基因组计划和人体健康。
第三节 发酵工程简介 学习目标: 1、发酵工程的概念和内容(A:知道)。 2、发酵工程在医药工业和食品工业中的 应用(A:知道)。
第三章 植物繁殖器官的结构及发育 主要内容: 花的组成;花和花序的种类;花的生理功能;发育及生殖过程;果实的结构及发育;被子植物生活史。
第四章:长期股权投资 长期股权投资效果 1、控制:50%以上 有权决定对方财务和经营.
知识聚焦 光合作用 呼吸作用 条件 场所 原料 产物 物质变化 能量变化 有光无光都可以 需要光 主要是线粒体 叶绿体 二氧化碳、水
報告書名:父母會傷人 班級:二技幼四甲 姓名:吳婉如 學號:1A2I0034 指導老師:高家斌
人民版必修三专题三复习 近代中国 思想解放的潮流 灵石中学 易吉华.
1. 福康安紀功碑 2. 丙午震災紀念碑 3. 十二門古砲 4. 陳澄波畫架 5. 牆之道 6. 一江山紀念碑 7. 孔廟
庄伯金 概率论与随机过程 第13章 马尔可夫链 庄伯金
成才之路 · 语文 人教版 • 中国古代诗歌散文欣赏 路漫漫其修远兮 吾将上下而求索.
郑伟诗 Wei-Shi Jason Zheng
第二章 复式记账原理*** 主要内容、重点难点: 1.会计要素与会计等式*** 2.会计科目与账户*** 3. 借贷记账法***
媽,我們真的不一樣 青少年期與中年期 老師: 趙品淳老師 組員: 胡珮玟4A1I0006 馬菀謙4A1I0040
第四讲 生物技术的安全性和伦理问题.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
概率图模型 林琛 博士、副教授.
第2章 基因和染色体的关系 第1节 减数分裂和受精作用.
十二年國民基本教育 年度中投區免試入學 超額比序與志願選填宣導說明
1、分别用双手在本上写下自己的名字 2、双手交叉
郑伟诗 智能科学系 统计分析进阶 郑伟诗 智能科学系 Wei-Shi Zheng
愛之花.
2007年11月考试相关工作安排 各考试点、培训中心和广大应考人员:
班級:二幼三甲 姓名:郭小瑄 、 詹淑評 學號:1A2I0029 、1A2I0025
分式的乘除(1) 周良中学 贾文荣.
第四章 制造业企业 主要经济业务核算.
指導老師:陳韻如 姓名:吳宜珊 學號:4A0I0911 班級:幼保二乙
《思想品德》七年级下册 教材、教法与评价的交流 金 利 2006年1月10日.
课题二十四 铣床夹具 【教学目的和要求】 通过本课题的学习,使学生了解铣床夹具的种类、结构、组成部分。掌握铣床夹具的设计要点。初步具备设计和使用专用铣床夹具的能力。 【教学内容摘要】 本课题介绍了铣床夹具的类型与特点,以及一些典型的铣床夹具。 【教学重点、难点】 教学重点为铣床夹具类型与特点以及铣床夹具的结构、组成部分。
模式识别 – 概率密度函数的参数估计 第三章 概率密度函数的参 数估计. 模式识别 – 概率密度函数的参数估计 3.0 引言 贝叶斯分类器的学习:类条件概率密度函数的 估计。 问题的表示:已有 c 个类别的训练样本集合 D 1 , D 2 , … , D c ,求取每个类别的类条件概率密 度 。
工程数学 第24讲 本文件可从网址 上下载 (单击ppt讲义后选择'工程数学'子目录)
《高等数学》(理学) 常数项级数的概念 袁安锋
傳統童玩遊戲創新 組別:第八組 班級:幼保二甲 組員: 4A0I0005柯舒涵 4A0I0011謝孟真
复习专题 现代文阅读 (总论) 汕头市潮阳第四中学:陈钦发.
第四章 时间序列的分析 本章教学目的:①了解从数量方面研究社会经济现象发展变化过程和发展趋势是统计分析的一种重要方法;②掌握时间数列编制的基本要求;③理解和掌握水平速度两方面指标的计算及运用④理解和掌握长期趋势分析和预测的方法。 本章教学重点:现象发展的水平指标和速度指标。 本章教学难点:现象变动的趋势分析。
第十二单元 第28讲 第28讲 古代中国的科技和文艺   知识诠释  思维发散.
物 资 供 应 简 报 第三期 2014年3月 中铁二局物资重庆分公司项目物资简报.
第14章 c++中的代码重用.
初中数学八年级下册 (苏科版) 10.4 探索三角形 相似的条件(2).
第十三章 收入和利润.
隐马尔可夫模型 Hidden Markov model
强连通分量 无向图 1、任意两顶点连通称该图为连通图 2、否则将其中的极大连通子图称为连通分量 A D C B E 有向图
物体识别 3D建图 semantic mapping
如何寫工程計畫書 臺北市童軍會考驗委員會 高級考驗營 版.
第四章 马尔可夫链.
词性标注与隐马尔可夫模型 戴新宇
郑伟诗 智能科学系 统计分析进阶 郑伟诗 智能科学系 Wei-Shi Zheng
隐马尔可夫模型 Hidden Markov model
动态规划(Dynamic Programming)
1.3 矩阵与数组 MATLAB中矩阵的生成 MATLAB矩阵操作 数组创建与运算.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
Bioelectromagnetics Key Laboratory, College of Medicine
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第三节 连续时间马尔可夫链.
第三章 马尔可夫链 关键词: 马尔可夫性 时齐马尔可夫链 n步转移概率 C-K方程 马氏链的有限维分布律 常返 暂留 正常返 零常返
3.1.2 空间向量的数量积运算 1.了解空间向量夹角的概念及表示方法. 2.掌握空间向量数量积的计算方法及应用.
上海交通大学计算机系 吴亚栋 Tel: 语音识别基础 第五章 基于统计模型(HMM)方式 的语音识别技术 上海交通大学计算机系 吴亚栋 Tel:
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第三章 马尔可夫链 关键词: 马尔可夫性 时齐马尔可夫链 n步转移概率 C-K方程 马氏链的有限维分布律 常返 暂留 正常返 零常返
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
隐马尔可夫模型简介 X1 X2 XT ………… O1 O2 OT 刘群
數線上兩點的距離.
§7.3 离散时间系统的数学 模型—差分方程 线性时不变离散系统 由微分方程导出差分方程 由系统框图写差分方程 差分方程的特点.
隐马尔可夫模型 Hidden Markov model
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
第十七讲 密码执行(1).
第十二讲 密码执行(上).
§4.5 最大公因式的矩阵求法( Ⅱ ).
Presentation transcript:

隐马尔可夫模型 Hidden Markov model 徐从富 浙江大学人工智能研究所 2003年10月第一稿 2005年9月修改补充 Modified by siuleung

目 录 HMM的由来 马尔可夫性和马尔可夫链 HMM实例 HMM的三个基本算法 主要参考文献

HMM的由来 1870年,俄国有机化学家Vladimir V. Markovnikov第一次提出马尔科夫模型 马尔可夫模型 马尔可夫链 隐马尔可夫模型

马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”,则此过程具有马尔可夫性,或称此过程为马尔可夫过程 X(t+1) = f( X(t) )

马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下,在时刻m+n转移到状态aj的转移概率。

转移概率矩阵 晴天 阴天 下雨 晴天 阴天 下雨 晴天 0.50 0.25 0.25 阴天 0.375 0.25 0.375 下雨 0.25 0.125 0.625

转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发,到另一时刻m+n,必然转移到a1,a2…,诸状态中的某一个,所以有 当Pij(m,m+n)与m无关时,称马尔科夫链为齐次马尔科夫链,通常说的马尔科夫链都是指齐次马尔科夫链。

HMM实例 Observed Ball Sequence Urn 3 Urn 1 Urn 2 Veil

HMM实例——描述 设有N个缸,每个缸中装有很多彩球,球的颜色由一组概率分布描述。实验进行方式如下 根据缸中球颜色的概率分布,随机选择一个球,记球的颜色为O1,并把球放回缸中 根据描述缸的转移的概率分布,随机选择下一口缸,重复以上步骤。 最后得到一个描述球的颜色的序列O1,O2,…,称为观察值序列O。

HMM实例——约束 不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是 一一对应的 每次选取哪个缸由一组转移概率决定 在上述实验中,有几个要点需要注意: 不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是 一一对应的 每次选取哪个缸由一组转移概率决定

HMM概念 HMM的状态是不确定或不可见的,只有通过观测序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应,而是通过一组概率分布相联系 HMM是一个双重随机过程,两个组成部分: 马尔可夫链:描述状态的转移,用转移概率描述。 一般随机过程:描述状态与观察序列间的关系, 用观察值概率描述。

HMM组成 Markov链 (, A) 随机过程 (B) HMM的组成示意图 状态序列 观察值序列 q1, q2, ..., qT o1, o2, ..., oT HMM的组成示意图

HMM的基本要素 用模型五元组 =( N, M, π ,A,B)用来描述HMM,或简写为 =(π ,A,B) 参数 含义 实例 N 状态数目 缸的数目 M 每个状态可能的观察值数目 彩球颜色数目 A 与时间无关的状态转移概率矩阵 在选定某个缸的情况下,选择另一个缸的概率 B 给定状态下,观察值概率分布 每个缸中的颜色分布 p 初始状态空间的概率分布 初始时选择某口缸的概率

HMM可解决的问题 问题1:给定观察序列O=O1,O2,…OT,以及模型 , 如何计算P(O|λ)? 问题2:给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列 S = q1,q2,…qT,使得S能够最为合理的解释观察序列O? 问题3:如何调整模型参数 , 使得P(O|λ)最大?

解决问题1 基础方法 给定一个固定的状态序列S=(q1,q2,q3…) 表示在qt状态下观测到Ot的概率 N=5, M=100, => 计算量10^72

解决问题1 前向法 动态规划 定义前向变量 初始化: 递归: 终结:

前向法示意图 N=5, M=100, => 计算量3000 1 ... t t+1 ... qN atN . qi qj ati aNj aij a1j at1 1 ... t t+1 ... N=5, M=100, => 计算量3000

解决问题1 后向法 与前向法类似 定义后向变量 初始化: 递归: 终结:

Viterbi算法 目的:给定观察序列O以及模型λ,如何选择一个对应的状态序列S ,使得S能够最为合理的解释观察序列O? N和T分别为状态个数和序列长度 定义: 我们所要找的,就是T时刻最大的 所代表的那个状态序列

Viterbi算法(续) 初始化: 递归: 终结: 求S序列:

Baum-Welch算法(模型训练算法) 目的:给定观察值序列O,通过计算确定一个模型l , 使得P(O| l)最大。 算法步骤: 1. 初始模型(待训练模型) l0, 2. 基于l0 以及观察值序列O,训练新模型 l; 3. 如果 log P(X|l) - log(P(X|l0) < Delta,说明训练已经达到预期效果, 算法结束。 4. 否则,令l0 = l ,继续第2步工作

Baum-Welch算法(续) 定义:

Baum-Welch算法(续2) 参数估计:

几种典型形状的马尔科夫链 a. A矩阵没有零值的Markov链 b. A矩阵有零值的Markov链 c./d. 左-右形式的Markov链

HMM的应用领域 语音识别 机器视觉 人脸检测 机器人足球 图像处理 图像去噪 图像识别 生物医学分析 DNA/蛋白质序列分析

主要参考文献 1. Lawrence R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Proceedings 1989. ftp://10.11.11.111/课件/徐从富_AI/补充材料/隐Markov模型.pdf 或ftp://10.214.1.200/课件/徐从富_AI/补充材料/隐Markov模型.pdf

欢迎批评指正, 谢谢!