第三章：期望 上节课内容 本节课内容 随机变量及其分布 随机变量变换的分布 常见分布族 多元随机向量的分布：联合分布、边缘分布、条件分布

Presentation on theme: "第三章：期望 上节课内容 本节课内容 随机变量及其分布 随机变量变换的分布 常见分布族 多元随机向量的分布：联合分布、边缘分布、条件分布"— Presentation transcript:

1 第三章：期望 上节课内容 本节课内容 随机变量及其分布 随机变量变换的分布 常见分布族 多元随机向量的分布：联合分布、边缘分布、条件分布
常用统计量：期望、方差、矩、中值、分位数 IID样本、样本均值、样本方差

2 期望 期望/均值：随机变量的平均值 概率加权平均 宏观物理量是微观物理量的统计平均值

3 期望 期望是随机变量的一个很好单值概述：随机变量典型的值或期望值
大数定律(Chp5)：当有大量独立同分布(Independed Identical Distribution, IID) 样本 时，期望 可视为样本均值 当 ，我们说 是良好定义的（well defined）；否则我们说期望不存在。

4 期望 [最小距离] 假设我们用L2距离度量一个随机变量X与一个常数b的距离，即 。b离X越近，这个量就越小。因此我们可以确定b的值，使得 最小，b可认为是X的一个很好预测。（不能直接最小化 因为结果与X有关，对X的预测无用） 问题：如果采用L1作为距离度量呢？ 注意： 是常数

5 随机变量变换的期望 1. 2. 注意：当 时，

6 随机变量变换的期望 例1： ，则 概率是一个特殊的期望：概率 为 的期望 例3.7： ，则 也可以先求 ，然后

7 随机向量变换的期望

8 随机向量变换的期望 令 例3.9: 设（X,Y）是单位正方形区域上的联合均匀分布， 则

9 期望的性质 线性运算： 加法规则： 乘法规则：

10 期望的性质 不好计算。 利用加法规则： 令 则

11 期望 例：[骗人的“平均数” ]吉斯莫先生有一个小工厂，生产超级小玩意儿。 管理人员由吉斯莫先生、他的弟弟、六个亲戚组成。工作人员由5个领工和10个工人组成。工厂经营得很顺利，现在需要一个新工人。现在吉斯莫先生正在接见萨姆，谈工作问题。 吉斯莫：我们这里报酬不错。平均薪金是每周300元。你在学徒期间每周得75元，不过很快就可以加工资。 [萨姆工作了几天之后，要求见厂长。] 萨姆；你欺骗我！我已经找其他工人核对过了，没有一个人的工资超过每周100元。平均工资怎么可能是一周300元呢？ 吉斯莫：啊，萨姆，不要激动。平均工资是300元。我要向你证明这一点。 吉斯莫：这是我每周付出的酬金。我得2400元，我弟弟得1000元，我的六个亲戚每人得250元，五个领工每人得200元，10个工人每人100元。总共是每周6900元，付给23个人，对吧？ 萨姆：对，对，对！你是对的，平均工资是每周300元。可你还是蒙骗了我。 吉斯莫；我不同意！你实在是不明白。我已经把工资列了个表，并告诉了你，工资的中位数是200元，可这不是平均工资，而是中等工资。 萨姆：每周100元又是怎么回事呢？ 吉斯莫：那称为众数，是大多数人挣的工资。 吉斯莫：老弟，你的问题是出在你不懂平均数、中位数和众数之间的区别。 萨姆：好，现在我可懂了。我……我辞职！

12 众数（mode） 众数：设随机变量X有密度 ，且存在 满足 ，则称 为X的众数。 期望、中位数和众数都称为位置参数。
随机变量出现次数最多的位置 期望、中位数和众数都称为位置参数。 当随机变量的分布为高斯分布时，三者相等

13 方差 方差：刻画随机变量围绕均值的散布程度 方差越大，X变化越大；方差越小，X与 越接近 方差：二阶中心矩

14 方差的性质 注意：期望的加法规则无需独立条件 不独立随机变量和的方差计算需考虑变量之间的协方差

15 方差 此时为确定性事件，故没有变化，方差为0

16 样本均值和方差 令 为IID，样本均值定义为 计算均值时忽略了概率？ 样本方差定义为

17 样本均值和方差 和 分别为 和 的很好估计（无偏估计）

18

19 协方差(covariance) /相关系数
协方差/相关系数：刻画两个随机变量之间关系强弱

20 协方差(covariance) /相关系数
X、Y独立，则X、Y 不相关： 但反过来不成立！

21

22 协方差的性质 对任意两个随机变量X和Y，有 当X、Y独立时： 推广到多个随机变量：

23 方差-协方差矩阵 令随机向量 的形式为： 则 的方差—协方差矩阵 为 当个成分变量独立时，协方差矩阵是什么样子呢？

24 相关(correlation) 相关：度量两个变量之间的线性相关程度 若  变量之间不线性相关 独立意味着不相关 但反过来不成立！
当 时，  变量之间不线性相关 独立意味着不相关 但反过来不成立！ 非线性相关，但可能高阶相关

25 条件期望 给定变量Y时，在 X上的概率分布 对Y的每个可能取值，对X都定义有一个概率分布 也能求期望，称为条件期望

26 条件期望 ：数字 ：y的函数。在知道y的值之前，不知道 ：随机变量，当Y=y时， 的值 ：随机变量

27 条件期望 例3.23: 假定对 采样，在给定x后，在对 采样 直观地，期望 实事上，对 ，有 得到期望 因而
实事上，对 ，有 得到期望 因而 注意： 是随机变量，当 时，其值为 思考题：当X与Y独立时， 的值？

28 条件期望 3.24 定理：对随机变量X和Y，假设其期望存在，则 更一般地，对任意函数 证明：利用条件期望的定义和 与Y有关的随机变量

29 条件期望 3.25例：考察3.23例： 怎样计算 ？ 一种方法是计算联合密度 ，然后计算 另一种更简单的方法是分两步计算 计算

30 条件方差 3.26 定义：条件方差定义为 其中 定理3.27：对随机变量X和Y，

31

32 层次模型 例：在一个分布族中，分布族由一个/一些参数决定，如 ，这些参数 通常又是一个随机变量（贝叶斯学派的观点，参数也是随机变量），则最终的分布为一个层次模型，称为混合分布(mixture distribution) 渐增式地定义一个复杂的模型：通过条件分布与边缘分布 希望知道 ，至少是其期望和均值（条件期望和方差）

33 层次模型 例：假设昆虫会产很多数量的蛋，蛋的数量为一个随机变量，用 表示；另外假设每个蛋的是否存活是独立的，存活的概率为p, 为Bernoulli分布，用X表示存活的数量，则

34 层次模型 期望： 亦可通过条件期望计算： 方差：

35 矩 r阶矩： ：1阶矩 r阶中心矩： 2阶中心矩：方差 3阶中心矩：偏度 4阶中心矩：峰度

36 矩母函数 （Moment Generating Functions）
矩母函数：用于计算矩、随机变量和的分布和定理证明 3.29 定义：X的矩母函数（MGF），或Laplace变换定义为 其中t在实数上变化。 若MGF是有定义的，可以证明可以交换微分操作和求期望操作，所以有： 取k阶导数，可以得到 方便计算分布的矩

37 矩母函数 3.10 例：令 ，对任意 ，有 当 时，上述积分是发散的。 所以

38 矩母函数的性质 3.31 引理：MGF的性质 若 ，则 若 独立，且 ，则 3.32 例： 所以

39 矩母函数的性质 3.33 定理：令X、Y为随机变量，如果对在0附件的一个开区间内所有的t，有 ，则 。 3.23 例：令 且 独立， 则
且 独立， 则 为分布 的MGF，即

40 下节课内容 作业： Chp3：第1、3、4、11、16、19题 下节课内容：概率不不等式