第二节 简单线性回归模型的最小二乘估计 用样本去估计总体回归函数，总要使用特定的方法，而任何估 计参数的方法都需要有一定的前提条件——假定条件 一、简单线性回归的基本假定 为什么要作基本假定？ ●只有具备一定的假定条件，所作出的估计才具有良好的统计性质。 ●模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。

Presentation on theme: "第二节 简单线性回归模型的最小二乘估计 用样本去估计总体回归函数，总要使用特定的方法，而任何估 计参数的方法都需要有一定的前提条件——假定条件 一、简单线性回归的基本假定 为什么要作基本假定？ ●只有具备一定的假定条件，所作出的估计才具有良好的统计性质。 ●模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。"— Presentation transcript:

1 第二节 简单线性回归模型的最小二乘估计 用样本去估计总体回归函数，总要使用特定的方法，而任何估 计参数的方法都需要有一定的前提条件——假定条件 一、简单线性回归的基本假定 为什么要作基本假定？ ●只有具备一定的假定条件，所作出的估计才具有良好的统计性质。 ●模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。 假定分为：◆对模型和变量的假定◆对随机扰动项的假定 1

2 1.对模型和变量的假定 例如对于 ●假定模型设定是正确的（变量和模型无设定误差） ●假定解释变量X在重复抽样中取固定值。
●假定解释变量X是非随机的，或者虽然X是随机的， 但与扰动项u是不相关的。(从变量X角度看是外生的) 注意: 解释变量非随机在自然科学的实验研究中相对 容易满足，经济领域中变量的观测是被动不可控的， X非随机的假定并不一定都满足。 2

3 2.对随机扰动项u的假定 在给定X的条件下， 的条件期望为零 假定2：同方差假定: 在给定X的条件下， 的条件 方差为某个常数
假定1：零均值假定: 在给定X的条件下，　 的条件期望为零 假定2：同方差假定: 在给定X的条件下，　的条件 方差为某个常数 Y X 3

4 假定4：解释变量 是非随机的，或者虽然 是随 假定3：无自相关假定: 随机扰动项 的逐次值互不相关
随机扰动项 的逐次值互不相关 假定4：解释变量 是非随机的，或者虽然 是随 机的但与扰动项 不相关 (从随机扰动 角度看) 4

5 假定5：对随机扰动项分布的正态性假定， 即假定 服从均值为零、方差为 的正态分布
即假定 服从均值为零、方差为 的正态分布 （说明：正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时， 的分布会趋近于正态分布。所以正态性假定有合理性） 5

6 在对 的基本假定下 Y 的分布性质 假定1：零均值假定 由于 其中的 和 是非随机的， 是随机变量，因此
其中的 和 是非随机的， 是随机变量，因此 Y是随机变量， 的分布性质决定了 的分布性质。 对 的一些假定可以等价地表示为对 的假定： 假定1：零均值假定 假定2：同方差假定 假定3：无自相关假定 假定5：正态性假定 6

7 二、普通最小二乘法（OLS） （Ｏrdinary Least Squares)
●对于 ，不同的估计方法可以得到不同的样本回归参数 和 ，所估计的 也就不同。 ●理想的估计结果应使估计的 与真实的 的差(即剩余 )总的来说越小越好 ●因 可正可负，总有 ，所以可以取 最小，即 在观测值Y和X确定时， 的大小决定于 和 。 要解决的问题: 如何寻求能使 最小的 和 。 7

8 2. 正规方程和估计量 取偏导数并令其为0，可得正规方程 用克莱姆法则求解得以观测值表现的OLS估计量： 即 或整理得 8

9 为表达得更简洁，或者用离差形式的OLS估计量：
容易证明 由正规方程： 注意：其中： 本课程中:大写的 和 均表示观测值； 小写的 和 均表示观测值的离差 而且由 样本回归函数可用离差形式写为 9

10 3. OLS回归线的数学性质 ●OLS回归线通过样本均值 ●估计值 的均值等于实际观测 值 的均值 (由OLS第一个正规方程直接得到)
●剩余项 的均值为零 ●OLS回归线通过样本均值 ●估计值 的均值等于实际观测 值 的均值 (由OLS第一个正规方程直接得到) (由OLS正规方程 两边同除n得到) 10

11 ●被解释变量估计值 与剩余项 不相关 由OLS正规方程有: ●解释变量 与剩余项 不相关

12 4. OLS估计量的统计性质 面临的问题: 参数估计值 参数真实值 ●参数无法直接观测，只能通过样本去估计。样本的获得存
面临的问题: 参数估计值 参数真实值 对参数估计式的优劣需要有评价的标准 为什么呢? ●参数无法直接观测，只能通过样本去估计。样本的获得存 在抽样波动，不同样本的估计结果不一致。 ●估计参数的方法有多种，不同方法的估计结果可能不相同，通过样本估计参数时，估计方法及所确定的估计量不一定完备，不一定能得到理想的总体参数估计值。 对各种估计方法优劣的比较与选择需要有评价标准。 估计准则的基本要求： 参数估计值应"尽可能地接近"总体参数真实值”。 什么是“尽可能地接近” 原则呢？ 用统计语言表述就是: 无偏性、有效性、一致性等 12

13 (1) 无偏性 前提：重复抽样中估计方法固定、样本数不变、 由重复抽样得到的观测值,可得一系列参数估计
值 , 的分布称为 的抽样分布，其密度 函数记为 概念: 如果 ，则称 是参数 的无偏估计量， 如果 ，则称 是有偏的估计，其偏倚为 （见下页图） 13

14 概 率 密 度 估计值 偏倚 14

15 (2)有效性 前提：样本相同、用不同的方法估计参数，可以找到若干个不同的无偏估计式 目标: 努力寻求其抽样分布具有最小方差的估计量
目标: 努力寻求其抽样分布具有最小方差的估计量 （见下页图） 既是无偏的同时又具有最小方差特性的估计量，称为最佳（有效）估计量。 15

16 概 率 密 度 估计值 16

17 3、渐近性质（大样本性质） 思想:当样本容量较小时，有时很难找到方差最小的无偏估计，
需要考虑样本扩大后的性质（估计方法不变，样本数逐步增大） 一致性： 当样本容量 n 趋于无穷大时，如果估计式 依概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。即 或 （渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的 估计式） (见下页图) 渐近有效性：当样本容量 n 趋于无穷大时，在所有的一致估计 式中，具有最小的渐近方差。 17

18 概 率 密 度 估计值 图 4 18

19 4. 分析OLS估计量的统计性质 ● 由OLS估计式可以看出 都由可观测的样本值 和 唯一表示。 ● 因存在抽样波动，OLS估计 是随机变量
先明确几点: ● 由OLS估计式可以看出 都由可观测的样本值 和 唯一表示。 ●   因存在抽样波动，OLS估计 是随机变量 ●   OLS估计式是点估计量 19

20 OLS估计式的统计性质——高斯定理 1、 线性特征 是Y的线性函数 2、 无偏特性 可以证明 （证明见教材P33）
2、  无偏特性 可以证明 （证明见教材P33） （注意: 无偏性的证明中用到了基本假定中 零均值等假定） 20

21 可以证明：在所有的线性无偏估计中，OLS估计 具 有最小方差
3、 有效性 （证明见教材附录2·1） 可以证明：在所有的线性无偏估计中，OLS估计 具 有最小方差 （注意:最小方差性的证明中用到了基本假定中的同方差、无自相关等假 定） 结论（高斯定理）： 在古典假定条件下，OLS估计量是最佳线性无偏估计量（BLUE） 21