计量经济学 第三章 多元线性回归模型.

Presentation on theme: "计量经济学 第三章 多元线性回归模型."— Presentation transcript:

1 计量经济学 第三章 多元线性回归模型

2 引子:中国已成为世界汽车产销第一大国 中国社会科学院《中国汽车社会发展报告 》显示，中国国内汽车产销量已近2000万辆。从2000年开始，中国汽车市场进入到黄金10年。汽车保有量从1600万辆攀升到1亿多辆。2010年成为全球第一大汽车市场，中国的汽车保有量已经超过日本，成为仅低于美国的世界第二大汽车保有国。业内预计，2020年我国汽车保有量将突破2亿辆。 是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。

3 怎样分析多种因素的影响？ 分析中国汽车行业未来的趋势，应具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测）
影响中国汽车销量的主要因素是什么？ （如收入、价格、费用、道路状况、能源、政策环境等） 各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展， 还需要寻求有更多个解释变量情况的回归分析方法。

4 本章主要讨论: ●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测

5 第一节 多元线性回归模型及古典假定 一、多元线性回归模型的意义 一般形式：对于有K-1个解释变量的线性回归模型
注意：模型中的 （j=1，2，……k）是偏回归系数 样本容量为n 偏回归系数： 控制其它解释量不变的条件下，第j个解释变量的单位变动对被解释变量平均值的影响，即对Y平均值“直接”或“净”的影响。 5

6 多元线性回归中的“线性” 指对各个回归系数而言是“线性”的，对变量则可以是线性的，也可以是非线性的 例如：生产函数 取对数
这也是多元线性回归模型，只是这时变量为lnY、lnL、lnK

7 多元总体回归函数 条件期望表现形式： 将Y的总体条件期望表示为多个解释变量的函数，如: 注意：这时Y总体条件期望的轨迹是K维空间的一条线
个别值表现形式： 引入随机扰动项 或表示为

8 多元样本回归函数 Y 的样本条件均值可表示为多个解释变量的函数 或回归剩余（残差）： 其中

9 多个解释变量的多元线性回归模型的n组样本观测值，可 表示为
二、多元线性回归模型的矩阵表示 多个解释变量的多元线性回归模型的n组样本观测值，可 表示为 用矩阵表示 9

10 矩阵表示方式 总体回归函数 或 样本回归函数 或 是有k 个 元素的列向量 （ k = 解释变量个数 + 1 ）
总体回归函数 或 样本回归函数 或 其中： 都是有n个元素的列向量 是有k 个 元素的列向量 （ k = 解释变量个数 + 1 ） 是第一列为1的n×k阶解释变量数据矩阵 ， (截距项可视为解释变量总是取值为1)

11 （i=j） (i≠j) 假定1：零均值假定 （ i=1，2，---n） 或 E（u）=0 假定2和假定3：同方差和无自相关假定：
三、多元线性回归中的基本假定 假定1：零均值假定 （ i=1，2，---n） 或 E（u）=0 假定2和假定3：同方差和无自相关假定： 或用方差-协方差矩阵表示为: （i=j） (i≠j)

12 假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值
假定4：随机扰动项与解释变量不相关 假定5: 无多重共线性假定 (多元中增加的) 假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值 矩阵X的秩为K(注意X为n行K列)。 Rank(X)= k Rank(X'X)=k 即 (X'X) 可逆 假定6:正态性假定 12

13 第二节 多元线性回归模型的估计 一、普通最小二乘法（OLS） 原则：寻求剩余平方和最小的参数估计式 即 求偏导，并令其为 其中 13

14 用矩阵表示的正规方程 偏导数 因为样本回归函数为 两边左乘 根据最小二乘原则 则正规方程为

15 OLS估计式 由正规方程 多元回归的OLS估计量为 当只有两个解释变量时为： 注意： 为X、Y的离差 对比 简单线性回归中

16 OLS回归线的数学性质 (与简单线性回归相同)
●回归线通过样本均值 ●估计值 的均值等于实际观测值 的均值 ●剩余项 的均值为零 ●被解释变量估计值 与剩余项 不相关 ●解释变量 与剩余项 不相关 （j=1,2,---k） 16

17 1、 线性特征 是Y的线性函数，因 是非随机或取固定值的矩阵 2、 无偏特性 (证明见教材P71) 3、 最小方差特性
 二、 OLS估计式的统计性质 1、  线性特征 是Y的线性函数，因 是非随机或取固定值的矩阵 2、  无偏特性 (证明见教材P71) 3、  最小方差特性 在 所有的线性无偏估计中，OLS估计 具有最小方差 (证明见教材P93或附录3.1) 结论：在古典假定下，多元线性回归的 OLS估 计式是最佳线性无偏估计式（BLUE）

18 三、 OLS估计的分布性质 基本思想： ● 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 ● 是服从正态分布的随机变量，
● 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 ● 是服从正态分布的随机变量， 决定了Y也是服从正态分布的随机变量 ● 是Y的线性函数，决定了 也是服从正态分布的随机变量

19 的期望与方差 ● 的期望 (由无偏性) ● 的方差和标准误差： 可以证明 的方差—协方差矩阵为（见下页） 这里的
● 的期望 (由无偏性) ● 的方差和标准误差： 可以证明 的方差—协方差矩阵为（见下页） 这里的 （其中 是矩阵 中第 j 行第 j 列的元素） 所以 （j=1,2,---k）

20 的方差-协方差 注意 是向量 (由无偏性) (由OLS估计式) (由同方差性) 其中： 20

21 一般未知，可证明多元回归中 的无偏 估计为：(证明见P93附录3.2) 或表示为 将 作标准化变换： 四、 随机扰动项方差 的估计
四、 随机扰动项方差 的估计 一般未知，可证明多元回归中 的无偏 估计为：(证明见P93附录3.2) 或表示为 将 作标准化变换： 对比: 一元回归中 21

22 未知时 的标准化变换 因 是未知的， 可用 代替 去估计参数的标准误差:
未知时 的标准化变换 因 是未知的， 可用 代替 去估计参数的标准误差: ● 当为大样本时，用估计的参数标准误差对 作标准化变换，所得 Z 统计量仍可视为服从正态分布 ●当为小样本时，用估计的参数标准误差对 作标准化变换，所得的 t 统计量服从 t 分布： 22

23 五、 回归系数的区间估计 由于 给定 ，查t分布表的自由度为 n-k 的临界值 或 或表示为 23

24 第三节 多元线性回归模型的检验 一、多元回归的拟合优度检验 多重可决系数：在多元回归模型中，由各个解释
第三节 多元线性回归模型的检验 一、多元回归的拟合优度检验 多重可决系数：在多元回归模型中，由各个解释 变量联合起来解释了的Y的变差，在Y的总变差中占 的比重，用 表示 与简单线性回归中可决系数 的区别只是 不同 多元回归中 多重可决系数可表示为 (注意:红色字体是与一元回归不同的部分) 24

25 多重可决系数的矩阵表示 特点:多重可决系数是模型中解释变量个数的不减函 数，这给对比不同模型的多重可决系数带来缺陷， 所以需要修正。
可用代数式表达为 特点:多重可决系数是模型中解释变量个数的不减函 数，这给对比不同模型的多重可决系数带来缺陷， 所以需要修正。

26 修正的可决系数 思想：可决系数只涉及变差，没有考虑自由度。 回顾: 自由度：统计量的自由度指可自由变化的样本观
如果用自由度去校正所计算的变差，可纠 正解释变量个数不同引起的对比困难。 回顾: 自由度：统计量的自由度指可自由变化的样本观 测值个数，它等于所用样本观测值的个 数减去对观测值的约束个数。

27 可决系数的修正方法 总变差 TSS 自由度为 n-1 解释了的变差 ESS 自由度为 k-1 剩余平方和 RSS 自由度为 n-k
修正的可决系数为

28 修正的可决系数 与可决系数 的关系 可决系数 必定非负，但所计算的修正可决系数 有可能为负值 已经导出： 注意：
修正的可决系数 与可决系数 的关系 已经导出： 注意： 可决系数 必定非负，但所计算的修正可决系数 有可能为负值 解决办法：若计算的 ，规定 取值为0

29 二、回归方程的显著性检验（F检验） 基本思想： 在多元回归中包含多个解释变量，它们与被解释 变量是否有显著关系呢？
当然可以分别检验各个解释变量对被解释变量影 响的显著性。 但是我们首先关注的是所有解释变量联合起来对被解释变量影响的显著性, 或整个方程总的联合显著性，需要对方程的总显著性在方差分析的基础上进行F检验。 29

30 1.方差分析 在讨论可决系数时已经分析了被解释变量总变差 TSS的分解及自由度： TSS=ESS+RSS
注意: Y的样本方差= 总变差/自由度 即 显然，Y的样本方差也可分解为两部分，可用方差分 析表分解 30 30

31 总变差 TSS= 自由度 n－1 模型解释了的变差 ESS= 自由度 k－1 剩余变差 RSS= 自由度 n－k
方差分析表 总变差 TSS= 自由度 n－1 模型解释了的变差 ESS= 自由度 k－1 剩余变差 RSS= 自由度 n－k 变差来源 平 方 和 自由度 方 差 归于回归模型 ESS= k-1 归于剩余 RSS= n-k 总变差 TSS= n-1 基本思想: 如果多个解释变量联合起来对被解释变量的影响不显著, “归于回 归的方差“ 比“归于剩余的方差”显著地小应是大概率事件。

32 2. F检验 原假设: 备择假设: 不全为0 建立统计量(可以证明): 给定显著性水平 ，查F分布表中自由度为 k-1
（所有解释变量联合起来对被解释变量的影响不显著） 备择假设: 不全为0 建立统计量(可以证明): 给定显著性水平 ，查F分布表中自由度为 k-1 和 n-k 的临界值 ，并通过样本观测 值计算F值 32

33 F检验方式 ▼如果计算的F值大于临界值 ， 则拒绝 ，说明回归模型有显著意义， 即所有解释变量联合起来对Y确有显著影响。
，说明回归模型没有显著 意义，即所有解释变量联合起来对Y没有显著影响。

34 3. 可决系数的显著性 拟合优度与F 检验是从不同原理出发的两类检验，但有内在联系。
拟合优度：从估计的模型出发，检验对样本观测值的拟合程度。 F检验：从样本观测值出发，检验模型整体关系的显著性。 密切关系：二者都建立在对被解释变量变差分解的基础上，都与自由度有关。实际上 F 统计量与可决系数可相互计算： 可以看出：当 =0 时，F=0 ; 当 =1时, F→∞; 当 越大时，F值也越大，F与 同方向变化。 结论：F检验等价于对 的显著性检验（不能只看 ，更看F值)

35 三、各回归系数的假设检验（t 检验） 注意: 在一元回归中F检验与t检验等价, 且 但在多元回归中，F检验显著，不一定每个解释变量都对
(见教材P77证明) 但在多元回归中，F检验显著，不一定每个解释变量都对 Y有显著影响。还需要分别检验当其他解释变量保持不变 时，各个解释变量X对被解释变量Y是否有显著影响。 方法： 原假设 （j=1,2,……k） 备择假设 统计量t为：

36 对各回归系数假设检验的作法 给定显著性水平α，查t分布表的临界值为 如果 就不拒绝 ，而拒绝
就不拒绝 ，而拒绝 即认为 所对应的解释变量 对被解释变量Y的影响不显 著。 就拒绝 而不拒绝 即认为 所对应的解释变量 对被解释变量Y的影响是 显著的。 讨论：在多元回归中，可以作F检验，也可以分别对每个回 归系数逐个地进行 t 检验。 F 检验与t检验的关系是什么？

37 第四节 多元线性回归模型的预测 1. Y平均值的点预测 一、被解释变量平均值预测 方法：将解释变量预测值代入估计的方程： 多元回归时： 或
第四节  多元线性回归模型的预测 一、被解释变量平均值预测 1. Y平均值的点预测 方法：将解释变量预测值代入估计的方程： 多元回归时： 或 注意: 预测期的 是第一个元素为1的行向量,不是矩 阵,也不是列向量

38 2. Y平均值的区间预测 ●由于存在抽样波动，预测的平均值 不一定 等于真实平均值 ，还需要对 作区间估计。
基本思想： （与简单线性回归时相同） ●由于存在抽样波动，预测的平均值 不一定 等于真实平均值 ，还需要对 作区间估计。 ●为了对Y作区间预测，必须确定平均值预测值 的抽样分布。 ● 必须找出与 和 都有关的统计量, 并要明确其概率分布性质。 38

39 区间预测的具体作法 (回顾简单线性回归) 简单线性回归中 当 未知 时，只得用 代替，这时

40 区间预测的具体作法（多元时） 多元回归时，与预测的平均值 和真实平均值 都有关的是二者的偏差 ： 服从正态分布，可证明
多元回归时，与预测的平均值 和真实平均值 都有关的是二者的偏差 ： 服从正态分布，可证明 用 代替 ，可构造 t 统计量

41 或者 服从正态分布，可证明 即 标准化 当用 代替 时 ，可构造 t 统计量 41

42 区间预测的具体作法 给定显著性水平α，查t分布表，得自由度为 n-k的 临界值 ，则 或

43 二、被解释变量个别值预测 基本思想： （与简单线性回归时相同） ●由于存在随机扰动 的影响，Y的平均值并不等于Y的个别值。
基本思想： （与简单线性回归时相同）   ●由于存在随机扰动 的影响，Y的平均值并不等于Y的个别值。 ●为了对Y的个别值 作区间预测，需要寻找与预测值 和个别值 有关的统计量，并要明确其概率分布性质。

44 个别值区间预测具体作法 已知剩余项 是与预测值 和个别值 都有关的变量 并且已知 服从正态分布，且多元回归时可证明
已知剩余项 是与预测值 和个别值 都有关的变量 并且已知 服从正态分布，且多元回归时可证明 当用 代替 时，对 标准化的 变量 t 为：

45 给定显著性水平 ，查t分布表得自由度为 n-k 的临
界值 则 　因此，多元回归时Y的个别值的置信度1-α的预测区间的上下限为

46 第五节 案例分析 研究范围：2011年31个省市区的数据为样本 理论分析：影响中国地方财政教育支出的主要的因素有： 研究的目的要求
第五节 案例分析 研究的目的要求 为了研究影响中国地方财政教育支出差异的主要原因，分析地 方财政教育支出增长的数量规律，预测中国地方财政教育支出 的增长趋势，需要建立计量经济模型。 研究范围：2011年31个省市区的数据为样本 理论分析：影响中国地方财政教育支出的主要的因素有： （1）由地区经济规模决定的地方整体财力； （2）地区人口数量不同决定各地教育规模不同； （3）人民对教育质量的需求对以政府教育投入为代表的公共 财政的需求会有相当的影响。 （4）物价水平，影响地方财政对教育的支出。 （5）地方政府对教育投入的能力与意愿

47 模型设定 选择地方财政教育支出为被解释变量。 选择“地区生产总值（GDP）”作为地区经济规模的代表； 选择各地区的“年末人口数量”作为各地区居民对教育规模的 需求的代表； 选择“居民平均每人教育现金消费”作为代表居民对教育质量 的需求； 选择居民教育消费价格指数作为价格变动影响的因素； 由于地方政府教育投入的能力与意愿难以直接量化，选择“教 育支出在地方财政支出中的比重”作为其代表。 探索将模型设定为线性回归模型形式：

48 样本数据：2011年各地区地方财政教育支出及主要影响因素
（亿元） 地区生产总值（亿元） 年末人口数（万人） 居民平均每人教育现金消费（元/人） 居民教育消费价格指数 教育支出在地方财政支出中的比重% Y X2 X3 X4 X5 X6 北京 520.08 2018.6 0.1603 天津 302.32 1355 780.85 0.1683 河北 652.11 523.54 0.1843 山西 421.79 3593 722.92 0.1784 内蒙古 390.69 740.41 0.1307 辽宁 544.09 4383 757.94 0.1393 吉林 319.82 739.14 0.1453 黑龙江 373.83 12582 3834 598.7 0.1338 上海 549.24 0.1403 江苏 7898.8 0.1757 浙江 751.42 5463 0.1956 安徽 564.71 5968 776.9 0.1710 福建 406.73 3720 629.11 0.1850 江西 474.43 610.69 0.1872 山东 1047.9 9637 656.83 0.2095 河南 857.14 9388 544.6 0.2017

49 地区 地方财政 教育支出 （亿元） 地区生产总值（亿元） 年末人口数（万人） 居民平均每人教育现金消费（元/人） 居民教育消费价格指数 教育支出在地方财政支出中的比重% Y X2 X3 X4 X5 X6 湖北 488.16 5757.5 690.86 0.1519 湖南 540.83 6595.6 626.86 0.1536 广东 929.03 0.1829 广西 456.89 4645 561.81 0.1795 海南 127.27 877.34 565.08 0.1634 重庆 318.7 2919 460.09 0.1240 四川 684.66 8050 534.18 0.1465 贵州 376.86 487.36 0.1675 云南 483 4630.8 462.02 0.1649 西藏 77.81 605.83 303.3 227.79 0.1026 陕西 529.46 3742.6 873.23 0.1807 甘肃 284.33 447.01 0.1587 青海 130.11 568.17 328.25 0.1345 宁夏 103.02 639.45 566.71 0.1459 新疆 399.8 514.57 0.1750

50 三、估计参数 模型估计的结果为： ( ) (0.0018) (0.0080) (0.0517) （9.0867） ( ) t= ( ) (6.3167) (4.9643) (2.8267) (2.5109) (1.8422) F= n=31

51 模型检验： 1、经济意义检验：在假定其它变量不变的情况下，
地区生产总值(GDP)每增长1亿元，平均说来地方财政教育支出将增长0.0112亿元；地区年末人口每增长1万人，平均说来地方财政教育支出会增长0.0395亿元；当居民平均每人教育现金消费增加1元，平均说来地方财政教育支出会增长0.1460亿元；当居民教育消费价格指数增加1个百分点，平均说来地方财政教育支出会增长 亿元。当教育支出在地方财政支出中的比重增加1%，平均说来地方财政教育支出会增长866.41亿元。 2、统计检验： 拟合优度: ，修正的可决系数为 ，说明模型对样本的拟合很好。 F检验：针对 ，给定显著性水平 ，查F分布表自由度为k-1=5和n-k=25的临界值为 。由于F= >2.61 ，应拒绝原假设 ，说明回归方程显著， 51

52 t检验 分别针对 ： ， 取 ，查t分布表得自由度为n-k=25临界值 。 取 ，查t分布表得自由度为n-k=25临界值 。
分别针对 ： ， 取 ，查t分布表得自由度为n-k=25临界值 。 取 ，查t分布表得自由度为n-k=25临界值 。 与 、 、 、 、 对应的t统计量分别为 、6.3167、4.9643、2.8267、2.5109，其绝对值均大于 ，说明在显著性水平 下，分别都应当拒绝 ： 而与 对应的t统计量 表明 “教育支出在地方财政支出中的比重”对“地方财政教育支出”Y在 的显著性水平下，没有显著的影响。但是在 显著性水平下，“教育支出在地方财政支出中的比重”对“地方财政教育支出”Y有显著的影响。这样的结论从表3.4中的P值也可能判断，与 、 、 、 、 估计值对应的P值均小于 ,表明在 显著性水平 下，对应解释变量对被解释变量影响显著。与 估计值对应的P值为0.0773，小于 ，表明在 的显著性水平下，“教育支出在地方财政支出中的比重”对“地方财政教育支出”Y影响是显著的。

53 本章小结 1. 多元线性回归模型及其矩阵形式。 2. 多元线性回归模型中对随机扰动项u的假定，除了其他 基本假定以外，还要求满足无多重共线性假定。 3. 多元线性回归模型参数的最小二乘估计量；在基本假定满足的条件下，多元线性回归模型最小二乘估计式是最佳线性无偏估计量。 4. 多元线性回归模型中参数区间估计的方法。 5. 多重可决系数的意义和计算方法，修正可决系数的作用和方法。 6. 对多元线性回归模型中所有解释变量联合显著性的F检验。

54 7. 多元回归分析中，对各个解释变量是否对被解释变量有显著影响的t检验。
8. 利用多元线性回归模型作被解释变量平均值预测与个别值预测的方法。

55 第三章结束了！ THANKS 55