Download presentation
Presentation is loading. Please wait.
1
EM算法 一种参数估计的方法
2
提纲 高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献
3
高斯混合模型 混合模型(Mixed Model): 其中 ,满足 即混合模型由K个成分组成,每个成分 的权重为
其中 ,满足 即混合模型由K个成分组成,每个成分 的权重为 若混合模型中每个成分为高斯分布, 则为高斯混合模型(Gaussian Mixture Model)
4
GMM的例子 例1:一个班级每个学生的身高为
假设男生和女生的身高分别服从高斯分布 则 其中 为男生的比例, 问题:给定独立同分布(independent and identically distributed----IID)的数据 ,求参数 混合模型的参数估计是EM(Expectation Maximization)算法最典型的应用
5
GMM的例子 例2: 分布的随机数的直方图 n = 10000; z = zeros(1,n); pw1 = 0.6; u1 = -2;
例2: 分布的随机数的直方图 n = 10000; z = zeros(1,n); pw1 = 0.6; u1 = -2; std1 = 2; pw2 = 0.4; u2 = 3; std2 = 1; y1 = randn(1,floor(n*pw1))*std1 + u1; y2 = randn(1,floor(n*pw2))*std2 + u2; z(1,1:floor(n*pw1)) =y1; z(1,(floor(n*pw1)+1):n) = y2;
6
提纲 高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献
7
极大似然估计与EM算法的关系 计算极大似然估计(maximum likelihood estimate,MLE),需要求似然函数的极值
值计算:如高斯混合模型 EM算法
8
极大似然估计(MLE) 独立同分布(IID)的数据 其概率密度函数为 似然函数定义为 log似然函数定义为 的极大似然估计为
9
完整数据 观测数据:观测到的随机变量 的IID样本 缺失数据:未观测到的随机变量 的值 在GMM中,若 来自第k个成分,则
缺失数据:未观测到的随机变量 的值 在GMM中,若 来自第k个成分,则 完整数据:包含观测到的随机变量 和未观测到的随机变量 的数据,
10
完整似然函数 若隐含变量 的值已知,得到完整数据的log似然函数为:
11
EM—Expectation 观测数据X已知,参数的当前值 已知,在完整似然函数中,缺失数据(隐含变量) Y未知,完整log似然函数对Y求期望。 定义 其中 是待确定的参数 通过求期望,去掉了完整似然函数中的变量Y。即EM的E步。
12
EM—Maximization 对E步计算得到的完整似然函数的期望求极大值(EM的M步),得到参数新的估计值,即
每次参数更新会增加非完整似然值 反复迭代后,会收敛到似然的局部最大值
13
EM的收敛性 其中, 当Q取极大值时,观测数据的似然也在相同点取极大值 EM算法会收敛到似然的局部极大值
14
混合模型中的EM算法 完整似然函数: 根据贝叶斯公式,Y的条件分布:
15
混合模型中的EM算法 E步 将完整似然函数和Y的条件分布代入Q函数中,经过复杂的变换得到, M步 求Q函数最大时的参数 反复迭代,直到收敛
16
GMM中的EM算法 高斯分布: 代入高斯分布的密度函数,计算得到如下的迭代公式: 第t次的估计为 则第t+1次的估计为
17
GMM中EM算法的迭代过程
18
提纲 高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献
19
GMM_EM求的参数为 (0.5958, ,1.9973,0.4042,2.9956,1.0044) 答案为 调用的接口为: estS = gmmb_em(rawdata', 'init', 'cmeans1', 'components', 2, 'thr', 1e-8); Matlab程序包的网址:
20
提纲 高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献
21
总结 EM会收敛到局部极值,但不保证收敛到全局最优 对初值很敏感:通常需要一个好的、快速的初始化过程 适合的情况: 如K-均值
缺失数据不能太多 数据维数不能太高
22
提纲 高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献
23
参考文献 [1]http://icl.pku.edu.cn/yujs/papers/pdf/EM.pdf
[2] [3] J. A. Bilmes (1998).A General Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models. [4]
24
多谢!欢迎多提意见!
Similar presentations