第一部分：概率基础 对应教材Chp1-5 可能需要复习本科概率论的相应内容 课堂上讲述会较快，将知识点串起来，建议大家通读教材 时间：“十一”长假之前 主要内容： 概率、随机变量及其分布、常用分布、多元随机向量 随机变量的变换及其分布 独立、条件独立、贝叶斯公式 期望、方差 概率不等式及收敛性

第一章：概率 概率：定量描述不确定性的数学语言 例：P(牙痛是由虫牙引起) = 0.8 实际数值可能来源于统计数据、模型、启发规则或猜测 20%– 所有其他可能 实际数值可能来源于统计数据、模型、启发规则或猜测 更精确的概率定义： 代数、可测量、测度（参考[CB] Chp1）

概率、样本空间和事件 考虑一个事先不知道输入的试验： 试验的样本空间 是所有可能输出的集合 事件A是样本空间的子集 试验的样本空间 是所有可能输出的集合 事件A是样本空间的子集 对每个事件A ，我们定义一个数字P(A) ，称为A 的概率。概率根据下述公理定义：

从上述三个公理，可推导出概率的所有的其他性质。 概率公理 事件A 的概率是一个非负实数 P(A) ≥ 0 合法命题的概率为1 P( ) = 1 两两不相交（互斥）事件A1, A2, … 从上述三个公理，可推导出概率的所有的其他性质。

公理的推论 不可满足命题的概率为0 对任意两个事件A 、 B 对事件A的补事件Ac 对任意事件A P (∅) = 0 P(A ∩ Ac) = 0 对任意两个事件A 、 B P(A ∪ B) = P (A) + P(B) – P(A ∩ B ) 对事件A的补事件Ac P(Ac) = 1 – P(A) 对任意事件A 0 ≤ P(A) ≤ 1

概率的解释 概率的 “真正意义” 仍是一个非常有争议的论题 没有一种解释被一致接受 概率两种主要的解释： 频率解释 可信度解释 概率 = 一个事件的相对频率 （大量试验情况下） 对应频率推断（点估计、置信区间） 可信度解释 概率 = 观测者对可能性的判断 “贝叶斯概率” 对应贝叶斯推断

概率的频率解释 在相似试验条件下，进行多次重复试验，得到某个特定输入的相对频率 （如掷骰子或抛硬币） 满足概率公理 只有试验才能确定概率 但是 试验次数多少次才足够多? 相似条件? (条件完全相同?) P(正面朝上)? P(你本门课程得90分以上)? P(明天会下雨)?

概率的可信度解释 亦称“贝叶斯概率” 概率表示观测者对可能性的判断 “主观概率” 而不是 “真正的概率” 定量表示某人的信念强度 是基于个人的信念和信息 “主观概率” 而不是 “真正的概率” 并没有对世界客观的表述 主观判断完全一致没有矛盾? 不同人之间没有统一的客观基准 满足概率公理 (在保持一致性的情况下)

独立事件 当P (AB) = P(A) P(B)时，称两个事件A与B独立，记为 可推广到有限个事件系列 可通过两种方式确定事件之间的独立性 显式假设：如抛硬币试验中，假设每次抛掷都是独立的 数值推导：满足P (AB) = P(A) P(B) 如在一个公正的掷骰子的试验中， 则 不相交 独立

独立总结 独立总结 若P(AB) = P (A) P(B) ，则A和B独立。 独立某些时候是假设的，某些时候推导得到的。 有正概率的不相交事件不一定独立。

条件概率 当P(B)>0 时，给定B时A的条件概率为 给定任意B，若P(B)>0 ，则 也是一个概率，即满足概率的三个概率公理 当 不相交时，

条件概率 下列等式不一定成立

条件概率 例1.13： 对疾病D的医学测试结果输出为+和-，其概率分别为： 假设某个测试的结果为+，则得病的概率为多少？ + .009 .099 .108 - .001 .891 .892 .010 .990 1.0 检验相当正确 还可以试着计算其他概率：P(-|D), P(+|Dc), P(Dc|+), P(D|-), P(Dc|-) 得病概率很小 不要相信直觉！

条件概率 例1.13（续）： 假设某个测试的结果为-，则得病的概率为多少？ + .009 .099 .108 - .001 .891 .892 .010 .990 1.0 例1.13（续）： 假设某个测试的结果为-，则得病的概率为多少？ 还可以试着计算其他概率：P(-|D), P(+|Dc), P(Dc|+), P(D|-), P(Dc|-) 得病概率几乎为0

独立与条件概率 若A与B独立事件，则 知道B不会改变A的概率 当A与B不独立时 Vs. A与B独立时：

例：条件独立 赌徒的谬误：戴伦伯特系统 参与者赌红色或黑色，每赌失败一次就加大赌数，每赌赢一次就减少赌数。 如果小小的象牙球让他赢了，那么就会有某种原因“记住”它，不太可能让他在下一次再赢；如果小球使他输了，它将感到抱歉，很可能帮助他在下一次赢。 事实上：每一次旋转，轮盘都与以前旋转的结果无关。 摘自《数学悖论奇景》

条件概率总结 1. 如果 P(B)>0，则 2. 对给定的B ，P(.|B) 满足概率公理。通常，对给定的A ，P (A|.) 不满足概率公理。 3. 通常，P(A|B)≠P(B|A)。 4. 当且仅当P(A|B)=P(A) 时， A 与B 独立。

贝叶斯公式 全概率公式：令A1, …, Ak 为 的一个划分，则对任意事件B，有 。 贝叶斯公式：令A1, …, Ak 为 的一个划分且对每个i， i =1,2, …,k 。若 ，则对每个 有 先验概率 后验概率

例：邮件分类 例1.19：email可分为三类：A1 =“垃圾,” A2 =“低优先级” 和A3 =“高优先级”。根据先前的经验，我们发现 则：0.7+0.2+0.1 = 1。 令B表示email中包含单词 “free”。根据先前的经验， 则如果收到一封带有单词“free”的邮件，该邮件为垃圾邮件的概率是多少？ 根据贝叶斯公式：

作业1 Chp1：第10、19、21、23题 请于9月24日前上课前交作业 非编程题可以用纸版 编程题请用email发至： 请按时交作业 标题请注明学号、姓名和作业的序号（第几次作业） 姓名_学号_作业序号.zip/rar 如确有困难者，请务必找助教说明，可适当延迟第一次编程题的时间 请按时交作业

编程环境 Matlab VC 你喜欢的任何编程语言 提供很多基本基础函数和工具，对理解算法的基本思想很有帮助，编程快捷 实际系统中的算法一般采用C/C++实现 你喜欢的任何编程语言

下节课内容 随机变量及其分布 期望、方差 常用分布 多元随机向量及其分布（部分）