A New Localized Generalization Error Model Based On Fuzzy Integral

Presentation on theme: "A New Localized Generalization Error Model Based On Fuzzy Integral"— Presentation transcript:

1 A New Localized Generalization Error Model Based On Fuzzy Integral
报 告 人：马 艳 东 指导教师：王熙照教授

2 主要内容 课题来源及背景和意义 研究现状及分析 初步的结论 已完成工作 今后的主要工作及会遇到的难点 参考文献

3 课题来源及背景和意义 RBFNN敏感性：衡量RBF网络输出对于输入或权重（或其他的参数）的扰动而改变程度的定量的度量。
局部泛化误差：考虑分类器在输入空间局部区域上的泛化能力。对其进行量化的度量，会对衡量网络的容错能力（error-tolerance）和泛化能力(generalization ability) 有一定启发意义。 特征选择：数据维数太多（不可避免包含一些冗余特征 ），使得数据的收集，存储及训练分类器的代价过高，而且影响分类器的性能。要避免这种情况的方法之一就是减少输入特征的数目； 因此，把局部泛化误差模型应用到RBFNN的特征选择中，希望能得到较理想的结果。

4 研究现状及分析 Wing’s WuBin’s Mine 分析一 只和 及 有关

5 分析二 Discuss 界 本身的大小，给我们带来的信息并不足够； 界 大小的变化（单调性），才是我们真正关心的；
界 本身的大小，给我们带来的信息并不足够； 界 大小的变化（单调性），才是我们真正关心的； 默认的重要规则：泛化误差界的单调性与实际（泛化）误差的单调性保持一致；

6 神经网络的敏感性标示着这种分类器的varia-nce特性，而经验误差的大小则是标示着分类器的bias特性[7];
分 析 三 神经网络的敏感性标示着这种分类器的varia-nce特性，而经验误差的大小则是标示着分类器的bias特性[7]; 两者是高度非线性关系[7] ； 如果能将两者有机的结合起来作为一种评价分类器泛化能力的标准，可能会有很好的效果。[7]

7 初步的结论及模型的建立 My Idea

8 Fuzzy Integral是一个良好的非线性融合工具
初步的结论及模型的建立 Fuzzy Integral是一个良好的非线性融合工具 而且能体现属性之间相互作用，并不是简单的线性叠加[3]。 因此我希望用Fuzzy Integral把和这两个属性(Sensitivity & train error)融合成一个属性，建立一种基于Fuzzy Integral的模型，希望能从某种意义上表征泛化误差的大小（变化）。

9 模型的建立 记该泛化误差模型为L-GEM-FI 的Choquet Integral 难点：模糊密度的确定 (1)经验赋值法
初步的结论及模型的建立 模型的建立 的Choquet Integral 记该泛化误差模型为L-GEM-FI 难点：模糊密度的确定 (1)经验赋值法 (2)优化的方法[3] (3) Genetic Algorithm法[4] (4)混淆矩阵等其它方法

10 基于L-GEM-FI的Feature Selection 算法流程图
初步的结论及模型的建立 基于L-GEM-FI的Feature Selection 算法流程图

11 遍历完FS中的所有特征或者训练误差，测试误差急剧增加
初步的结论及模型的建立 剩余特征数是否小于等于预先设定的阈值 N Y Start Training RBFNN Condition1 Compute Fuzzy density Compute i=1;.…N Select the feature Condition 2 Delete ith feature End 遍历完FS中的所有特征或者训练误差，测试误差急剧增加

12 我的工作 完成的工作(1)— 关于 的应用

13 缺点是：求关于范数的 耗时太长，无法忍受。这也是使我想用其他方法建立模型求解的一个原因。

14 完成的工作(2)： The program of Choquet Fuzzy Integral
The introduction to Genetic Algorithm

15 今后的主要工作及会遇到的难点： 一,继续完成的 建立，实验其效果；
一,继续完成的 建立，实验其效果； 二,考虑怎样能把Genetic Algorithm和Fuzzy Integral 有机的结合起来，能够有效地应 用到Feature Selection中；

16 三，仔细阅读分析一些文章，希望对 Model的建立多一些理论的支持；
(1) Michel Grabisch, ‘The representation of importance and interaction of features by fuzzy measures’， Pattern Recognition Letters 17 (1996) (2) Michel Grabisch ‘Fuzzy Integral for Classication and Feature Extraction’ (3) Jacek M. Zurada a* * , Aleksander Malinowski a, Shiro Usui b ,” Perturbation method for deleting redundant inputs of perceptron networks ’, Neurocomputing I4 ( 1997) I

17 四,将遇到的难点： How to determine the function of fitness 下面给出一种Fitness的定义方法

18 A Definition of Fitness(1)
for 只删除ith特征，训练网络。并计算 ， ， ; end 按着 的大小对 降序排列，同时记录特征i位置的变化；

19 A Definition of Fitness(2)
计算与 对应的Fuzzy Integral， ; 令j为Fuzzy Integral最小值的位置，我们记j为与之对应的第i个特征的Fitness值。

20 参考文献： [1]Friedhelm Schwenker et al. “Three learning phase for radial-basis-function networks”, Neural networks 14 (2001) , 18 December 2000 [2]Wing W.Y. NG, Daniel S. YEUNG, Xi-Zhao Wang, “Localized Generalization Error and Its Application to RBFNN Training”, Proceedings of the Fourth International Conference on Machine Learning and Cybernetics, Guangzhou, August 2005 [3]Daniel S. Yeung, Fellow, IEEE, Xi-Zhao Wang, Senior Member, IEEE, and Eric C. C. Tsang, “Handling Interaction in Fuzzy Production Rule Reasoning”, IEEE Transactions On Systems, Man, And Cybernetics— Part B: Cybernetics, Vol. 34, No. 5, October 2004

21 [4]Zhenyuan Wang a;_, Kwong-Sak Leung a, Jia
[4]Zhenyuan Wang a;_, Kwong-Sak Leung a, Jia Wang, “Determining nonnegative monotone set functions based on Sugeno's integral: an application of genetic algorithms”, Fuzzy Sets and Systems 112 (2000) 155{164 [5]Michel Grabisch*, Jean-Marie Nicolas, “Classification by fuzzy integral: Performance and tests”, Fuzzy Sets and Systems 65 (1994) [6]肖刚1， 敬忠良1，李建勋2，刘磊2，王淑,‘一 种基于模糊积分的图像最优融合方法’，

22 [7] Richard O.Duda etc, ‘Pattern Classifica- tion, Second Edition’

23 Thanks for your attention!

24 Fuzzy Measure Let be a non-empty finite set and an Boolean algebra (i.e. a family of subsets of closed under union and complementation, including the empty set) defined on A fuzzy measure defined on the measurable space ( , ) is a set function : verifying the following axioms: is said to be a fuzzy measure space.

25 Choquet Fuzzy Integal Definition 2. Let be a function from to [0,1], and a fuzzy measure on . The Choquet integral of with respect to is defined by where we assume without loss of generality that , and

26 -Fuzzy Measure 对于所有的 and ,满足下面的可加性： 当 时， 模糊测度就变成经典的概率测度。

27 模糊测度迭代公式： 可由下式得出：

28 偏差和方差 偏差：度量的是匹配的“准确性”和“质量”。 小的“偏差”意味着从平均意义上说，可以从D中准确的估计出F(·)