Presentation is loading. Please wait.

Presentation is loading. Please wait.

第一部分:概率基础 对应教材Chp1-5 可能需要复习本科概率论的相应内容 课堂上讲述会较快,将知识点串起来,建议大家通读教材

Similar presentations


Presentation on theme: "第一部分:概率基础 对应教材Chp1-5 可能需要复习本科概率论的相应内容 课堂上讲述会较快,将知识点串起来,建议大家通读教材"— Presentation transcript:

1 第一部分:概率基础 对应教材Chp1-5 可能需要复习本科概率论的相应内容 课堂上讲述会较快,将知识点串起来,建议大家通读教材
时间:“十一”长假之前 主要内容: 概率、随机变量及其分布、常用分布、多元随机向量 随机变量的变换及其分布 独立、条件独立、贝叶斯公式 期望、方差 概率不等式及收敛性

2 第一章:概率 概率:定量描述不确定性的数学语言 例:P(牙痛是由虫牙引起) = 0.8 实际数值可能来源于统计数据、模型、启发规则或猜测
20%– 所有其他可能 实际数值可能来源于统计数据、模型、启发规则或猜测 更精确的概率定义: 代数、可测量、测度(参考[CB] Chp1)

3 概率、样本空间和事件 考虑一个事先不知道输入的试验: 试验的样本空间 是所有可能输出的集合 事件A是样本空间的子集
试验的样本空间 是所有可能输出的集合 事件A是样本空间的子集 对每个事件A ,我们定义一个数字P(A) ,称为A 的概率。概率根据下述公理定义:

4 从上述三个公理,可推导出概率的所有的其他性质。
概率公理 事件A 的概率是一个非负实数 P(A) ≥ 0 合法命题的概率为1 P( ) = 1 两两不相交(互斥)事件A1, A2, … 从上述三个公理,可推导出概率的所有的其他性质。

5 公理的推论 不可满足命题的概率为0 对任意两个事件A 、 B 对事件A的补事件Ac 对任意事件A P (∅) = 0
P(A ∩ Ac) = 0 对任意两个事件A 、 B P(A ∪ B) = P (A) + P(B) – P(A ∩ B ) 对事件A的补事件Ac P(Ac) = 1 – P(A) 对任意事件A 0 ≤ P(A) ≤ 1

6 概率的解释 概率的 “真正意义” 仍是一个非常有争议的论题 没有一种解释被一致接受 概率两种主要的解释: 频率解释 可信度解释
概率 = 一个事件的相对频率 (大量试验情况下) 对应频率推断(点估计、置信区间) 可信度解释 概率 = 观测者对可能性的判断 “贝叶斯概率” 对应贝叶斯推断

7 概率的频率解释 在相似试验条件下,进行多次重复试验,得到某个特定输入的相对频率 (如掷骰子或抛硬币) 满足概率公理 只有试验才能确定概率
但是 试验次数多少次才足够多? 相似条件? (条件完全相同?) P(正面朝上)? P(你本门课程得90分以上)? P(明天会下雨)?

8 概率的可信度解释 亦称“贝叶斯概率” 概率表示观测者对可能性的判断 “主观概率” 而不是 “真正的概率”
定量表示某人的信念强度 是基于个人的信念和信息 “主观概率” 而不是 “真正的概率” 并没有对世界客观的表述 主观判断完全一致没有矛盾? 不同人之间没有统一的客观基准 满足概率公理 (在保持一致性的情况下)

9 独立事件 当P (AB) = P(A) P(B)时,称两个事件A与B独立,记为 可推广到有限个事件系列 可通过两种方式确定事件之间的独立性
显式假设:如抛硬币试验中,假设每次抛掷都是独立的 数值推导:满足P (AB) = P(A) P(B) 如在一个公正的掷骰子的试验中, 不相交 独立

10 独立总结 独立总结 若P(AB) = P (A) P(B) ,则A和B独立。 独立某些时候是假设的,某些时候推导得到的。
有正概率的不相交事件不一定独立。

11 条件概率 当P(B)>0 时,给定B时A的条件概率为 给定任意B,若P(B)>0 ,则 也是一个概率,即满足概率的三个概率公理
当 不相交时,

12 条件概率 下列等式不一定成立

13 条件概率 例1.13: 对疾病D的医学测试结果输出为+和-,其概率分别为: 假设某个测试的结果为+,则得病的概率为多少? + .009
.099 .108 - .001 .891 .892 .010 .990 1.0 检验相当正确 还可以试着计算其他概率:P(-|D), P(+|Dc), P(Dc|+), P(D|-), P(Dc|-) 得病概率很小 不要相信直觉!

14 条件概率 例1.13(续): 假设某个测试的结果为-,则得病的概率为多少? + .009 .099 .108 - .001 .891
.892 .010 .990 1.0 例1.13(续): 假设某个测试的结果为-,则得病的概率为多少? 还可以试着计算其他概率:P(-|D), P(+|Dc), P(Dc|+), P(D|-), P(Dc|-) 得病概率几乎为0

15 独立与条件概率 若A与B独立事件,则 知道B不会改变A的概率 当A与B不独立时 Vs. A与B独立时:

16 例:条件独立 赌徒的谬误:戴伦伯特系统 参与者赌红色或黑色,每赌失败一次就加大赌数,每赌赢一次就减少赌数。
如果小小的象牙球让他赢了,那么就会有某种原因“记住”它,不太可能让他在下一次再赢;如果小球使他输了,它将感到抱歉,很可能帮助他在下一次赢。 事实上:每一次旋转,轮盘都与以前旋转的结果无关。 摘自《数学悖论奇景》

17 条件概率总结 1. 如果 P(B)>0,则 2. 对给定的B ,P(.|B) 满足概率公理。通常,对给定的A ,P (A|.) 不满足概率公理。 3. 通常,P(A|B)≠P(B|A)。 4. 当且仅当P(A|B)=P(A) 时, A 与B 独立。

18 贝叶斯公式 全概率公式:令A1, …, Ak 为 的一个划分,则对任意事件B,有 。
贝叶斯公式:令A1, …, Ak 为 的一个划分且对每个i, i =1,2, …,k 。若 ,则对每个 有 先验概率 后验概率

19 例:邮件分类 例1.19:email可分为三类:A1 =“垃圾,” A2 =“低优先级” 和A3 =“高优先级”。根据先前的经验,我们发现
则: = 1。 令B表示 中包含单词 “free”。根据先前的经验, 则如果收到一封带有单词“free”的邮件,该邮件为垃圾邮件的概率是多少? 根据贝叶斯公式:

20 作业1 Chp1:第10、19、21、23题 请于9月24日前上课前交作业 非编程题可以用纸版 编程题请用email发至: 请按时交作业
标题请注明学号、姓名和作业的序号(第几次作业) 姓名_学号_作业序号.zip/rar 如确有困难者,请务必找助教说明,可适当延迟第一次编程题的时间 请按时交作业

21 编程环境 Matlab VC 你喜欢的任何编程语言 提供很多基本基础函数和工具,对理解算法的基本思想很有帮助,编程快捷
实际系统中的算法一般采用C/C++实现 你喜欢的任何编程语言

22 下节课内容 随机变量及其分布 期望、方差 常用分布 多元随机向量及其分布(部分)


Download ppt "第一部分:概率基础 对应教材Chp1-5 可能需要复习本科概率论的相应内容 课堂上讲述会较快,将知识点串起来,建议大家通读教材"

Similar presentations


Ads by Google