基于Choquet模糊积分的多分类器系统多样性研究 报告人：张国防 2019/1/17

主要内容 基于模糊积分多样性的定义 泛化误差不等式 模糊测度的多样性训练算法 学习 模糊测度的非线性规划模型 数据实验结果 进一步的工作 学习 模糊测度的非线性规划模型 数据实验结果 进一步的工作 参考文献 2019/1/17

对某输入模式 有如下输出： 多分类器系统(MCS)的输出 Fuzzy measure Class label Classifiers 对某输入模式 有如下输出：　 Decision profile(DP( )) Classifiers Class label Fuzzy measure Fusion output for each class True function for each class BACK 2019/1/17

基于模糊积分的多样性定义 假定整个训练集合含有从概率分布为 的数据集合中随即抽取的 个样例。 假定整个训练集合含有从概率分布为 的数据集合中随即抽取的 个样例。 对于单个输入模式，基于Choquet模糊积分的多样性定义： 其中： 对于整个训练集合，基于Choquet模糊积分的多样性定义： BACK 2019/1/17

泛化误差不等式 整个讨论中，假定学习任务是学习M个函数: 对于单个输入模式，泛化误差不等式： 对于单个输入模式，泛化误差不等式： BACK 2019/1/17

模糊测度多样性训练算法 该训练算法考虑了分类器的训练误差和多样性两个参数 如果两个参数之一的提高导致另一个参数的极度下降，那么我们就不对密度做任何调整。 规定一个阈值为可接受的下降程度，这样密度的调整条件的判断如下： 如果两个参数之一的提高程度小于阈值，那么另一个参数的可接受最大下降程度等于前一个参数的提高程度。 如果两个参数之一的提高程度大于阈值，那么另一个参数的可接受最大下降程度等于规定的阈值。 BACK 2019/1/17

Step2:对样例集合进行分类，得出训练精度，如果达到所要求的训练精度，那么停止学习，返回各类密度值，否则转Step3 ； 计算关于单个 样例 的多样性值 ， 如果 进行以下过程，否则进行下一个样例； 判断是否满足密度调整的条件，如果不满足，那么进行下一个样例，否则， （1）该样例类别所对应的密度值增加； （2）其他类别所对应的密度值减少； 对训练集搜索一遍后返回各类密度值； Step5: 根据Step4得到的密度值对训练集分类，得到训练精度，若精度满足要求，则停止学习，返回密度值，否则计算对应于Step4得到的密度值的整个训练集合的多样性值 ， 如果 那么 否则 不变，转Step4 ； BACK 2019/1/17

模糊密度值的调整与积分值之间的关系 满足: 调整步长：0.0830 调整步长：0.0492 BACK 2019/1/17

满足: 2019/1/17

fun目标函数名;X0初始点;lb决策变量的下界; ub决策变量的上界;nonlcon返回约束值的函数名； options优化选项参数。 上述非线性约束优化问题可以用MATLAB优化工具箱中的fmincon函数来求解，因为约束为非线性约束，所以不可能将约束条件信息直接包含在函数的输入参数中，必须编写函数返回在每一个点处的约束值，然后再调用优化函数fmincon。 fun目标函数名;X0初始点;lb决策变量的下界; ub决策变量的上界;nonlcon返回约束值的函数名； options优化选项参数。 2019/1/17

数据试验结果 (优化) BACK 2019/1/17

数据试验结果(多样性算法) 从Abalone数据库中选取第5，6，7类数据共756个样例，输入数据属性为数据样例的7个连续值属性，训练9个神经网络分类器进行算法试验。 返回 BACK 2019/1/17

2019/1/17 BACK

进一步的工作 利用遗传算法求解 与其它多样性度量方法的比较 训练集合与测试集合规模的确定 BACK 2019/1/17

参考文献 [1] Michel Grabisch, Toshiaki Murofushi and Michio Sugeno, Fuzzy Measure and Integrals Theory and Applications, New York, Physica-Verlag Heidelberg , 2000. [2] Zhenyuan Wang and George J. Kllr, Fuzzy measure theory, New York, Plenum Publishing Corporation, 1992. [3] Ludmila I. Kuncheva, Fuzzy Classifier Design, New York, Physica-Verlag Heidelberg , 2000. [4] Ludmila I. Kuncheva, Combining Pattern Classifiers Methods and Algorithms, New Jersey, John Wiley and Sons, Inc.. Hoboken, 2004. [5] Gabriele Zenobi, A detailed derivation of the relationship between generalization error and ambiguity in regression ensembles, Trinity College Dublin. [6] Michel Grabisch, Fuzzy integral in multicriteria decision making, Fuzzy Sets and Systems 69 (1995)279-298. [7] Robert E. Banfield, Lawrence O. Hall, Kevin W. Bowyer and W. Philip Kegelmeyer, A New Ensemble Diversity Measure Applied to Thinning Ensembles, International Workshop on Multiple Classifier Systems, pp.306-316, 2003. 2019/1/17

[8] Gabriele Zenobi and Padraig Cunningham, Using Diversity in Preparing Ensembles of Classifiers Based on Different Feature Subsets to Minimize Generalization Error, Trinity College Dublin. [9] Dymitr Ruta and Bogdan Gabrys, New Measure of Classifier Dependency in Multiple Classifier Systems, United Kingdom. [10] Zhenyuan Wang, Kwong-Sak Leung, Man-Leung Wong and Jian Fang, A new type of nonlinear integrals and the computational algorithm, Fuzzy Sets and Systems 112 (2000) 223-231. [11] Amanda J.C. Sharkey and Noel E. Sharkey, Diversity, Selection, and Ensembles of Artificial Neural Nets, U.K. [12] Michel Grabisch , The representation of importance and interaction of features by fuzzy measures, Pattern Recognition Letters 17 (1996) 567-575. [13] Zhenyuan Wang, Kwong-Sak Leung and Jian Fang, Determining nonnegative monotone set functions based on Sugeno’s integral: an application of genetic algorithm, Fuzzy Sets and Systems 112 (2005) 155-164. [14] James M.Keller and Jeffrey Osborn, Training the Fuzzy Integral,International Journal of Approximate Reasoning 1996. BACK 2019/1/17

2019/1/17

2019/1/17