# 模式识别 Pattern Recognition

## Presentation on theme: "模式识别 Pattern Recognition"— Presentation transcript:

IPL 武汉大学电子信息学院 模式识别 Pattern Recognition 第三章 概率密度密度的估计

3.1 引言 分类器 功能结构 基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数 基于样本的直接确定判别函数方法
MAX g1 . g2 gc x1 x2 xn a(x) 基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数 基于样本的直接确定判别函数方法 第三章概率密度密度的估计

3.2 参数估计 统计量：样本集的某种函数f(K)， K={x1, x2 ,…, xN}

3.2.1 最大似然估计 Maximum Likelihood (ML)

3.2.2 贝叶斯估计-最大后验概率 用一组样本集D={x1, x2 ,…, xN}估计未知参数θ

From p(θ ), compute p(θ/D) using Bayes’ formula: Compute p(x/D) as follows: 第三章概率密度密度的估计

then p(x/D) can be approximated as follows: (i.e., the best estimate is obtained by setting ) This is in fact the ML solution (i.e., p(D/θ) peaks at 第三章概率密度密度的估计

Bayes估计小结 Given a large number of samples, p(θ/Dn) will have a very strong peak at ; in this case: There are cases where p(θ/Dn) contains more than one peaks (i.e., more than one θ explains the data); in this case, the solution p(x/θ) should be obtained by integration. In general, p(x/Dn) converges to p(x/ θ) whether or not having one maximum. 第三章概率密度密度的估计

ML与Bayes估计的比较 Number of training data Computational complexity
The two methods are equivalent assuming infinite number of training data. For small training data sets, they give different results in most cases. Computational complexity ML uses differential calculus or gradient search for maximizing the likelihood. Bayesian estimation requires complex multidimensional integration techniques. 第三章概率密度密度的估计

ML与Bayes估计的比较 Solution complexity
Easier to interpret ML solutions (i.e., must be of the assumed parametric form). A Bayesian estimation solution might not be of the parametric form assumed. Prior distribution If the prior distribution p(θ) is uniform, Bayesian estimation solutions are equivalent to ML solutions. 第三章概率密度密度的估计

ML与Bayes估计的比较 Broad or asymmetric p(θ/D) General comments
In this case, the two methods will give different solutions. Bayesian methods will explicitly exploit such information. General comments There are strong theoretical and methodological arguments supporting Bayesian estimation. In practice, ML estimation is simpler and can lead to comparable performance. 第三章概率密度密度的估计

3.2.3 混合高斯模型 Mixed gaussian distribution 密度函数具有如下形式：正态模型的线性组合 需估计的参数：

3.3 非参数估计 非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作模型无关方法。

3.3.1 核函数方法 估计的目的：从样本集K= {x1, x2,…, xN}估计样本空间中任何一点的概率密度p(x)

∴ 条件密度的估计 (V足够小) 讨论:①当V固定的时候N增加, k也增加，当 只反映了P(x)的空间平均估计而反映不出空间的变化 ② N固定,体积变小 k=0时 所以起伏比较大,噪声比较大,需要对V进行改进 第三章概率密度密度的估计

3.3.2 Parzen窗法 超立方体内样本数： 某点概率密度p(x)的估计 样本集KN= {x1, x2,…, xN}

Parzen窗法示例 非参数 估计 第三章概率密度密度的估计

3.3.3 kN-近邻法 均匀核函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。

kN-近邻法举例 kN的选择： 渐进收敛容易保证； 有限样本性质、最小平方误差与Parzen窗几乎相同 第三章概率密度密度的估计

3.4 讨论 概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。

1.在给定样本的情况下，分别基于Parzen窗的方法和ML的方法估计这批样本的概率密度函数。
2.分别基于这两种方法的得到的概率密度函数构造分类器，对两类数据进行分类。比较他们的分类结果。 第三章概率密度密度的估计