混合型多示例学习算法 张敏灵 周志华 南京大学计算机软件新技术国家重点实验室 2003 年 11 月.

Presentation on theme: "混合型多示例学习算法 张敏灵 周志华 南京大学计算机软件新技术国家重点实验室 2003 年 11 月."— Presentation transcript:

1 混合型多示例学习算法 张敏灵 周志华 zml@ai.nju.edu.cn zhouzh@nju.edu.cn 南京大学计算机软件新技术国家重点实验室 2003 年 11 月

2 提纲 多示例学习 混合学习算法 实验 结论

3 多示例学习 Dietterich, T. G., Lathrop, R. H. and Lozano-P é rez, T.: Solving the multiple-instance problem with axis-parallel rectangles, Artificial Intelligence, 89(1-2) (1997), 31-71. 药物活性预测问题

4 多示例学习－续 在以往的学习框架下 : 在多示例学习框架下：

5 混合学习 ( hybrid learning ) 人工智能研究必须从其传统关注的特殊模式走出来。 世界上并不存在一种最佳的知识表示或问题求解方 法， …… 我们所需的多功能性只能在更大规模的结 构中找到，这些结构应能同时利用和管理若干种知 识表示的优势，使得各种类型的表示可以相得益彰。 ——M. Minsky. AIMag91 混合学习能够利用多种学习范式的优点, 因此对混合 学习算法的研究在近十年来一直是机器学习界的一 个研究热点。

6 混合学习算法－混合成分 Iterated-discrim APR 算法 (T.G. Dietterich et al. AIJ97)

7 混合学习算法－混合成分（续） Diverse Density 算法 (O. Maron et al. NIPS98)

8 混合学习算法－混合成分（续） Citation-kNN 算法 (J. Wang & J.-D. Zucker ICML00) 利用最小 Hausdorff 距离来衡量包之间的距离 借用科学文献中 “ 引用 ” 的概念 EM-DD 算法 (Q. Zhang & S. A. Goldman NIPS02) 将 EM 算法和多样性密度算法相结合

9 混合学习算法－算法设计 五种混合学习算法 三种个体混合（四种可能） 四种个体混合（一种可能） 训练和预测方法 “ 直接投票 ” 法 “ 神经网络合成 ” 法

10 实验结果 各算法在 Musk 数据集上的十倍交叉验证精度

11 实验结果（续） 在使用 “ 直接投票 ” 法时，混合算法 2 、 3 、 5 在 Musk1 数据集上取得了比单个多示例学习算 法更优的结果，但仅有混合算法 1 在 Musk2 数 据集上取得了比单个多示例学习算法更优的 结果。 在使用 “ 神经网络合成 ” 法时，所有的混合算法 在 Musk1 和 Musk2 数据集上均取得了比单个多 示例学习算法更优的结果。

12 结束语 提出了五种混合型多示例学习算法。基 准数据集上的实验结果表明，混合学习 算法可望比单个多示例学习算法更好地 解决多示例学习问题。 设计出更有力的混合型多示例学习算法， 不论对多示例学习还是混合学习这两个 热点领域来说，都是值得深入研究的重 要问题。

13