基于EM的MRF彩色图像分割 李求旭.

Presentation on theme: "基于EM的MRF彩色图像分割 李求旭."— Presentation transcript:

1 基于EM的MRF彩色图像分割 李求旭

2 领域系统和势团 Markov Random Fields Markov-Gibbs 等价性 有用的MRF模型 多级GRF模型和MML 模型 MAP-MRF标记 观察模型

3 一个简单的例子：图像纹理分割 MRF 参数估计 基于EM和MRF的彩色图像分割 图像特征的提取 聚类的个数的分析

4 领域系统和势团 Sites 和 Labels A labeling of the sites in S in terms of the labels in L: f = { } Sites S= {1,…m}

5 The labeling problem is to assign a label from the label set L to each of the sites in S.

6 领域系统被定义为：

7 Cliques A clique   c for (S, N) is defined as a subset of sites in S .在c中所有的sites都是相邻的。 对于（S，N）所有势团的集合是：

8 Markov Random Fields

9

10 Definition

11 Markov-Gibbs 等价性(证明省略)
An MRF is characterized by its local property (the Markovianity) GRF is characterized by its global property (the Gibbs distribution). The Hammersley-Clifford theorem establishes the equivalence of these two types of properties

12 The theorem states that F is an MRF on S with respect to N if and only if F is a GRF on S with respect to N

13 Gibbs Random Field ----definition
F is said to be a Gibbs Random Field on S with respect to N if and only if its configurations obey a Gibbs distribution:

14

15 有用的MRF模型 Auto-Models auto-logistic model （Ising model）
auto-binomial model auto-normal model （Gaussian MRF ） multi-level logistic (MLL) model (potts model) Hierarchical GRF Model

16 MLL 模型和多级GRF模型 There are M (>2) discrete labels in the label set ,L={1,2,…,M}.

17 在多级两层Gibbs模型中： The higher level Gibbs distribution uses an isotropic random field （MLL） A lower level Gibbs distribution describes the filling-in in each region 在纹理分割中： blob-like regions are modeled by a high level MRF which is an isotropic MLL these regions are filled in by patterns generated according to MRFs at the lower level

18 MAP-MRF标记 1.贝叶斯估计： 估计 的贝叶斯风险被定义为： 2. d:观察的数据 C( , f)是费用函数
估计 的贝叶斯风险被定义为： 2. d:观察的数据 C( , f)是费用函数 p(f | d)is the posterior distribution

19 费用函数： 根据（1），贝叶斯风险为：

20 根据（2）贝叶斯风险为： where k is the volume of the space containing all points f for which

21 因此：最小化风险就相当于最大化后验概率p(f|d).这就是我们所知的最大后验概率估计。

22

23 MAP-MRF approach for solving computer vision problems :
Pose a vision problem as one of labeling in categories LP1-LP4 and choose an appropriate MRF representation f. Derive the posterior energy to define the MAP solution to a problem. Find the MAP solution.

24 The process of deriving the posterior energy

25 观察模型

26

27 一个简单的例子：图像纹理分割 Texture segmentation is to segment an image into regions according to the textures of the regions Texture segmentation, as other labeling problems, is usually performed in an optimization sense, such as MAP

28

29 MRF 参数估计 EM算法：一种迭代的标记-估计算法

30 基于EM和MRF的彩色图像分割 对图像中的每个像素，计算一个d维的特征向量X, X可以包含各种不同的颜色表示，以及一序列滤波器的输出。
我们将图像模型表示如下：图像中的每个像素均是由g个图像分割中的某一个的密度函数计算得到的。因此为产生一个像素，首先选择一个图像分割区域，然后通过该区域的密度函数生成所需的像素

31

32 我们希望确定以下参数： 1.每一个分割（块）的参数 2.混合权重 3.各个像素来源于模型中的哪个分量（从而实现图像分割）

33 一个两难问题的提出： 1 . 如果我们已经知道了各个像素分别来源于哪个分量，那么确定参数将会变得容易 2. 如果知道了参数， 那么对于每个像素，就能够确定最可能产生那个像素的分量（这样就确定了图像分割） 3.但问题是两者都不知道。

34 图像的似然函数为：

35 The expectation-maximization (EM) algorithm is a general technique for finding maximum likelihood (ML) estimates with incomplete data In EM, the complete data is considered to consist of the two parts：

36

37

38 EM算法的主要思想是1. 通过用期望值来替代丢失的（隐藏的）数据，为丢失的数据获取工作变量的集合2
这时不完备数据的期望值可能已经改变了。 通过交替执行期望阶段和最大化阶段，迭代直致收敛

39 EM算法的形式化描述 1.使用不完备的数据以及参数的当前值来计算完备数据的期望值（E步）
1，2步交替直到收敛。

40 可以证明，不完备数据的对数似然函数在每个阶段都是增长的，也就说参数序列收敛到不完备数据对数似然函数的某个局部最大值。
However, we cannot work directly with this complete-data log likelihood because it is a random function of the missing variables f. The idea of the EM algorithm is to use the expectation of the complete-data log likelihood which will formalize EM

41 The M-step performs maximum likelihood estimation as if there were no missing data as it had been filled in by the expectations

42 Label process The label process w is modeled as a MRF
with respect to a second order neighborhood system

43 Image process 多元高斯密度分布是一种典型的适合大多数分类问题的模型。其中，对于某个给定的类m，特征向量d是连续取值的。

44

45 Posterior energy

46 So the energy function

47 EM算法 假设存在r个像素，丢失（隐藏）的数据形成一个r×L的数组表示的指示变量Z.
在每一行，除了一个像素，其他的值均为0，这个值表示每个像素的特征向量来源于哪个块（分割）

48

49

50

51 图像特征的提取 The brightness and texture features are extracted from the L* component and the color features are extracted from the a* and b* components.

52 two brightness features: brightness gradient and local energy content of the L* component; three color features: color gradient, local energy content of the a* and b* components; three texture features: phase divergence, homogeneity and homogeneous intensity; and two position features（x,y） coordinates of the pixels

53 聚类的个数的分析 基于直方图的聚类个数分析

54 thanks