卿来云 中国科学院研究生院信息学院 lyqing@gucas.ac.cn / lyqing@jdl.ac.cn 统计学习基础 卿来云 中国科学院研究生院信息学院 lyqing@gucas.ac.cn / lyqing@jdl.ac.cn 统计对研究的意义： （1）工程统计：如“本文提出了一种新的算法，比已有算法的性能有显著提高” 用到假设检验 同样在评价一些药的疗效上也有类似问题 （2）机器学习：数据多、维数高 学习一些模型 模型选择：对相同的数据，可以用不同的模型来解释，到底哪个模型最合适？ 夏季学习课程 统计不是万能的，没有统计是万万不能的 （至少应具备一些统计的基本概率或知识，现在小学一年级的数学中已有统计内容） 学习三要素： 载体：结构 通用灵活小结构-->组合成大结构（模型复杂性、AdaBoost） 价值观：有限样本兼顾样本与结构（兼顾现在与未来、灵活 vs. 可靠） 学习效率/执行：如迭代… 概念要清楚

概率 vs. 统计 概率：研究随机事件出现的可能性的数学分支，描述非确定性（Uncertainty）的正式语言，是统计推断的基础 概率： 一个事件或事件集合出现的可能性 基本问题：给定以一个数据产生过程，则输出的性质是什么 统计推断：处理数据分析和概率理论的数学分支，与数据挖掘和机器学习是近亲 统计量：一个用以描述样本或总体性质的数值，如均值或方差 基本问题：给定输出数据，我们可以得到该数据的产生过程的哪些信息 为什么要统计？ （1） 概率：概率并不是来源于noise，而是这个世界本身就是不确定的 不确定性 统计学习 如投篮，只能说命中的概率，无法确定某一次投篮是否一定会中，不同水平表现为投中的概率不同 某一次的结果是从一个分布中采样 （2）统计：有些时候不可能精确数数，如人口等不停在变化 统计物理学：宏观物质系统是大量微观例子的集体表现，宏观物理量是微观物理量的统计平均值，如布朗运动（温度、压强…） 统计中很多概率就是从统计物理、统计化学中来的，如熵

概率 vs. 统计 概率 数据产生过程 观测到的数据 统计推断 数据产生过程 通过采样， 得到样本（观测到的数据） 数据产生过程 通过采样， 得到样本（观测到的数据） 我们先讲采样（概率），然后再学统计推断 统计推断

统计学习 统计学 ≈ 根据数据进行推理的学科 统计学习 ≈多元统计分析 + 计算统计学 多元统计分析 ≈ 基于一个多元变量数据集，预测函数值 计算统计学 ≈ 统计问题的计算方法 (a.k.a. 统计计算) + 计算繁重的统计方法 数据挖掘 ≈ 研究数据分析，尤其是大数据量/复杂的数据集

例：人脸形状 （随机事件、概率与统计学习） ICCV2001: Learning inhomogeneous Gibbs models of faces by minimax entropy

统计学习的基本问题 有监督/无监督学习 增强学习 模型选择 有监督学习：回归、分类 无监督学习：概率密度估计、聚类、降维 模型评价：损失函数 复杂性 vs. 推广性 统计对计算机专业学生的意义： （1）工程统计：如“本文提出了一种新的算法，比已有算法的性能有显著提高” 用到假设检验 同样在评价一些药的疗效上也有类似问题 （2）机器学习：数据多、维数高 数据挖掘：学习一些模型 模型选择：对相同的数据，可以用不同的模型来解释，到底哪个模型最合适？ 夏季学习课程 统计不是万能的，没有统计是万万不能的 （至少应具备一些统计的基本概率或知识，现在小学一年级的数学中已有统计内容） 学习三要素： 载体：结构 通用灵活小结构-->组合成大结构（模型复杂性、AdaBoost） 价值观：有限样本兼顾样本与结构（兼顾现在与未来、灵活 vs. 可靠） 学习效率/执行：如迭代… 概念要清楚

课程目的 为计算机专业的学生快速提供广泛的概率和统计背景 为学习其他课程打好统计学基础 概率 统计 统计学习 机器学习 数据挖掘 模式识别 人工智能 …

数学基础的重要性 研究数据分析必须打好概率和统计基础 Using fancy tools like neural nets, boosting and support vector machines without understanding basic statistics like doing brain surgery before knowing how to use a band-aid.

教材/参考书 [Wasserman] Larry Wasserman, All of Statistics: A Concise Course in Statistical Inference, Springer Press, 2004 主要教材：内容很全，但有些部分篇幅略少，更偏向于从统计的角度讲述 Chp1-13, Chp20，Chp23-24 [HTF] Trevor Hastie, Robert Tibshirani, Jerome Friedman著，范明，柴玉梅，昝红英译，《统计学习基础—数据挖掘、推理与预测》， 电子工业出版社，2004 统计学习部分的主要教材：主要从机器学习的角度讲述 Chp1-7 [CB] George Casella and Roger L. Berger，Statistical Inference，机械工业出版社，2002 详尽的统计推断教材：可以作为[Wasserman]一书的补充 Chp1-10

预修课程 高等数学 线性代数 概率：有一定概率基础 可复习任一本科概率论教材 盛骤 谢式千 潘承毅，《概率论》， （浙江大学）编， 高等教育出版社

课程内容（1） 第一部分：概率基础知识 第二部分：统计基础知识 概率理论 随机变量及其概率分布 常用的概率分布 多元随机变量 概率不等式和收敛性 第二部分：统计基础知识 统计基本知识 非参数估计、Bootstrap、Jackknife 参数估计 假设检验

课程内容（2） 第三部分：统计学习基本模型及理论 第四部分：随机计算 统计学习概述 线性回归 概率密度估计 核方法 统计判决理论 模型选择和模型评估 第四部分：随机计算 采样、MCMC (Monte Carlo Markov Chain)

相关会议、刊物 会议 刊物 Machine Learning (ML) Internet Conference on Machine Learning KDD (Internet Conference on Knowledge Discovery and Data Mining) NIPS (Neural Information Processing Systems Conference) IJCNN ( Internet Joint Conference on Neural Networks) Artificial Intelligence and Machine Learning Conference Computational Learning Theory (COLT) … 刊物 Machine Learning (ML) Journal of Machine Learning Research Annals of Statistics Data Mining and Knowledge Discovery IEEE-KDE IEEE-PAMI Artificial Intelligence Journal of Artificial Intelligence Research Computational Intelligence Neural Computation IEEE-NN Research, Information and Computation …

其他信息 助教：杨涛 ssss104@gmail.com 课件网址 http://www.jdl.ac.cn/user/lyqing/StatLearning/StatLearning.htm

作业和考试 作业：40% 考试：闭卷 非编程作业20%、编程作业（包括上机实验作业）20% 每次作业留1-2周时间 请按时交作业，鼓励讨论，但NO COPY 考试：闭卷 期末考试：60%

其他 课前预习 课后复习 讨论 课堂上预告下节课内容 预习教材相应章节或相应的补充材料 复习教材和课件，适当阅读课外材料 下节课开始前，对上节课的内容都已经掌握 讨论 鼓励讨论：学得更快/更多、学习兴趣更高 先独立解决问题，然后比较和讨论，最后提交的答案是自己的理解 编写程序时，可以利用别人的代码，但需注明出处及自己的工作

作业 从日常生活、学习或工作中找出1～2个与统计相关的有趣问题