第四章 多元线性回归分析.

Slides:



Advertisements
Similar presentations
一、 一阶线性微分方程及其解法 二、 一阶线性微分方程的简单应用 三、 小结及作业 §6.2 一阶线性微分方程.
Advertisements

2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
第八章 第四节 机动 目录 上页 下页 返回 结束 一个方程所确定的隐函数 及其导数 隐函数的微分法.
2.6 隐函数微分法 第二章 第二章 二、高阶导数 一、隐式定义的函数 三、可微函数的有理幂. 一、隐函数的导数 若由方程 可确定 y 是 x 的函数, 由 表示的函数, 称为显函数. 例如, 可确定显函数 可确定 y 是 x 的函数, 但此隐函数不能显化. 函数为隐函数. 则称此 隐函数求导方法.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
计量经济学 第五章 异 方 差 性.
非线性时间序列模型 一般非线性时间序列模型介绍 条件异方差模型 上海财经大学 统计与管理学院.
第六章 回归分析.
5 多元线性回归分析 §1 一元线性回归分析 §2 多元线性回归分析 §3 最优回归方程的选取 §4 可线性化的非线性回归.
第三章 经典单方程计量经济学模型:多元线性回归模型
第十章 相关与回归分析 PowerPoint 统计学.
回归分析法预测 (Regression Analysis)
一、能线性化的多元非线性回归 二、多元多项式回归(线性化)
第三章 函数逼近 — 最佳平方逼近.
6.6 单侧置信限 1、问题的引入 2、基本概念 3、典型例题 4、小结.
《高等数学》(理学) 常数项级数的概念 袁安锋
预测与决策分析 Forecasting and Decision Analysis
第一章 行列式 第五节 Cramer定理 设含有n 个未知量的n个方程构成的线性方程组为 (Ⅰ) 由未知数的系数组成的n阶行列式
第二章 经典单方程计量经济学模型: 一元线性回归模型
量化视角下的豆粕投资机会分析 格林期货研发培训中心 郭坤龙.
恰当方程(全微分方程) 一、概念 二、全微分方程的解法.
第四章 函数的积分学 第六节 微积分的基本公式 一、变上限定积分 二、微积分的基本公式.
田间试验和统计方法 第九章 直线回归与相关.
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
第三篇 医学统计学方法. 第三篇 医学统计学方法 医学统计学方法 实习2 主讲人 陶育纯 医学统计学方法 实习2 主讲人 陶育纯 流行病与卫生统计学教研室
不确定度的传递与合成 间接测量结果不确定度的评估
第四节 一阶线性微分方程 线性微分方程 伯努利方程 小结、作业 1/17.
经济长周期视角下的保险资金运用研究 北京大学经济学院 朱南军 中国人民大学汉青研究院 翟建辉 清华大学工程物理系 冯玉林
计量经济学 第三章 多元线性回归模型.
第一章 商品 第一节 价值创造 第二节 价值量 第三节 价值函数及其性质 第四节 商品经济的基本矛盾与利己利他经济人假设.
简单回归模型 过原点回归 简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧 度量单位和函数形式 OLS估计量的期望值和方差
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
第12章 回归直线.
§3.3 多元线性回归模型的统计检验 一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验(t检验) 四、参数的置信区间.
引子: 国内生产总值增加会减少财政收入吗?
第六章 正态条件下回归的推论.
计量经济学 第三章 多元线性回归模型.
第二章 回归模型 法、参数的普通最小二乘估计式及相关性质、对模型的经济意 义检验和统计检验,能应用Eviews软件进行最小二乘估计与统
一元线性回归模型 § 1 回归分析概述 § 2 一元线性回归模型的参数估计 § 3 一元线性回归模型的统计检验
数学实验之 回归分析(1).
计量软件实验:EViews软件应用 基本回归模型.
第2章 一元线性回归 2 .1 一元线性回归模型 2 .2 参数 的估计 2 .3 最小二乘估计的性质 2 .4 回归方程的显著性检验
第九章 方差分析和回归分析 单因素方差分析 一元线性回归 回归诊断.
第4章 多元线性回归分析.
第2章 一元线性回归分析 §2.1 :回归分析及回归模型 §2.2 :一元线性模型的参数估计 §2.3 :参数估计值的性质及统计推断
多元回归分析:估计 y = b0 + b1x1 + b2x bkxk + u 计量经济学导论 刘愿.
第十章 方差分析.
统 计 学 (第三版) 2008 作者 贾俊平 统计学.
第七章 参数估计 7.3 参数的区间估计.
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
9.1 简单线性相关分析 9.2 一元线性回归分析 9.3 多元线性回归与复相关分析 9.4 变量间非线性关系的回归
模型分类问题 Presented by 刘婷婷 苏琬琳.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
相关与回归 非确定关系 在宏观上存在关系,但并未精确到可以用函数关系来表达。青少年身高与年龄,体重与体表面积 非确定关系:
第三章 两变量线性回归.
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
概率论与数理统计B.
正弦、余弦函数的性质 华容一中 伍立华 2017年2月24日.
§2 方阵的特征值与特征向量.
第二节 简单线性回归模型的最小二乘估计 用样本去估计总体回归函数,总要使用特定的方法,而任何估 计参数的方法都需要有一定的前提条件——假定条件 一、简单线性回归的基本假定 为什么要作基本假定? ●只有具备一定的假定条件,所作出的估计才具有良好的统计性质。 ●模型中有随机扰动项,估计的参数是随机变量,显然参数估计值的分布与扰动项的分布有关,只有对随机扰动的分布作出假定,才能比较方便地确定所估计参数的分布性质,也才可能进行假设检验和区间估计等统计推断。
第三节 随机区组设计的方差分析 随机区组设计资料的总平方和可以分解为三项: (10.10).
第十五讲 区间估计 本次课讲完区间估计并开始讲授假设检验部分 下次课结束假设检验,并进行全书复习 本次课程后完成作业的后两部分
多元线性回归分析.
Volterra-Lotka方程 1925年, A. Lotka(美)和V. Volterra(意)给出了第一个两物种间的捕食模型。
数学模型实验课(二) 最小二乘法与直线拟合.
Presentation transcript:

第四章 多元线性回归分析

本章主要内容 第一节 多元线性回归模型 第二节 参数估计 第三节 回归拟合度评价和决定系数 第四节 统计推断和预测

第一节 多元线性回归模型 一、模型的建立 二、模型的假设

一、模型的建立 多元线性回归模型就是研究多因素关系,有多个解释变量的线性回归模型。一般形式是: 其中Y是被解释变量, 是K个认为对Y有显著影响的解释变量(K 2), 是K+1个待定参数,是计量经济分析首先要估计的对象, 是随机误差项。

多元线性回归模型的建立也需要有理论和现实的根据。 多元线性回归模型中包括哪些变量、因素,哪个指标是被解释变量,有几个解释变量或哪几个指标作为解释变量,既要考虑理论分析和研究目的的需要,也应该根据所研究问题的具体情况、相关经济理论,以及以往研究经验等确定。

虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存在的,但更多的情况下多变量关系往往是非线性的,需要经过数学变换才能转化为多元线性回归模型的标准形式。 例:

二、模型的假设 (1)、变量 和 之间存在多元线性随机函数关系 ; (2)、 对任意 都成立; (3)、 ,与 无关; (1)、变量 和 之间存在多元线性随机函数关系 ; (2)、 对任意 都成立; (3)、 ,与 无关; (4)、误差项不相关,当 时, (5)、解释变量都是确定性的而非随机变量,且解释变量之间不存在线性关系; (6)、误差项 服从正态分布。

对假设的进一步分析 上述六条假设中(2)、(3)、(4)和(6)与两变量模型相同。 第(1)条是关于模型基本变量关系的。 第(5)条不仅针对的解释变量数目增加了,而且多了一个要求解释变量之间没有线性关系的假设,这是多元线性回归模型的重要特点。

多元线性回归模型的矩阵表示

第二节 参数估计 一、最小二乘估计 二、投资函数模型参数估计 三、参数估计的性质和方差估计

一、最小二乘估计 参数估计也是多元线性回归模型的基本步骤。 最小二乘法也是多元线性回归的基本方法。 对于多元线性回归模型

得到样本回归方程: 回归残差平方和 当 对 的一阶偏导数都等于0,得到正规方程组: 其中

该正规方程组有K+1个方程,未知数也是K+1个。只要满足模型假设(5),解释变量之间不存在严格线性关系,就可以解出 的唯一一组解。 该解就是 的最小二乘估计。

特别地,对于两个解释变量的线性回归模型: 样本回归方程是: 可推导出参数最小二乘估计的公式如下:

最小二乘估计的向量、矩阵形式 向量表示 回归方程的向量表示 回归残差向量 残差平方和

当 对 的一阶偏导数都等于0

二、投资函数模型参数估计 作为例子,我们估计[例4-1]的投资函数多元线性回归模型的参数。 假设已获得该地区1968-1983年期间实际投资和实际GNP数据。

表4.1 某地区投资和GNP数据 年份 实际投资 实际GNP 1968 0.161 1.058 1976 0.195 1.298 1969 0.172 1.088 1977 0.231 1.370 1970 0.158 1.086 1978 0.257 1.439 1971 0.173 1.122 1979 0.259 1.479 1972 1.186 1980 0.225 1.474 1973 0.217 1.254 1981 0.241 1.503 1974 0.199 1.246 1982 0.204 1.475 1975 0.163 1.232 1983 0.210 1.500

投资函数EViews回归输出结果 Dependent Variable: Y Method: Least Squares Date: 07/13/04 Time: 19:44 Sample: 1968 1983 Included observations: 16 Variable Coefficient Std. Error t-Statistic Prob. C -0.486463 0.053836 -9.035936 0.0000 X1 -0.016593 0.001819 -9.122606 0.0000 X2 0.639117 0.052896 12.08262 0.0000 R-squared 0.958362 Mean dependent var 0.203750 Adjusted R-squared 0.951957 S.D. dependent var 0.033061 S.E. of regression 0.007246 Akaike info criterion -6.849241 Sum squared resid 0.000683 Schwarz criterion -6.704381 Log likelihood 57.79393 F-statistic 149.6088 Durbin-Watson stat 1.313453 Prob(F-statistic) 0.000000

三、参数估计的性质和方差估计 只要变量关系符合多元回归模型的假设,多元回归分析参数的最小二乘估计量也有优良的性质,也是BLUE估计和一致估计。 因此在模型假设成立的前提下,最小二乘估计也是多元线性回归分析基本的参数估计方法,并能为相关统计推断和预测分析提供基础。

要进一步对多元线性回归模型进行统计推断和检验,同样需要先估计参数估计量的方差。 据最小二乘估计公式和模型假设,可以导出两个解释变量的多元回归模型各个参数的最小二乘估计量的方差。

上述参数估计量方差中的 是模型误差项 的方差,一般可以用多元线性回归最小二乘估计的残差序列: 加以估计,公式是: =

第三节 回归拟合度评价和决定系数 分析两变量线性回归决定系数公式 可以发现,该决定系数只与被解释变量的观测值以及回归残差有关,而与解释变量无直接关系。 多元模型解释变量的数目有多有少,该决定系数是解释变量数目的增函数,意味着不管增加的解释变量是否真是影响被解释变量的重要因素,都会提高决定系数的数值,解释变量个数越多,决定系数一定会越大。

克服决定系数上述缺陷的方法,是对决定系数进行适当的调整,采用如下“调整的决定系数”: =

根据上述公式可以看出,当n 较大和K 较小时, 和R 差别不大,但当n并不是很大而K又较大时,两者的差别是比较明显的。 用这个调整的决定系数作为评价多元线性回归拟合度的评价标准,可以基本消除由于解释变量数目差异造成的影响。 根据上述公式计算决定系数,需要先根据回归直线计算 的理论值,然后计算回归残差序列,再结合样本数据进行计算。

第四节 统计推断和预测 一、参数估计量的标准化 二、统计推断和检验 三、预测

一、参数估计量的标准化 = N[0,1] 在满足模型假设的情况下,多元线性回归模型参数的最小二乘估计量是线性无偏估计。 参数估计量服从以参数真实值为中心的正态分布: 可以通过下列变换转化为标准正态分布的统计量: = N[0,1]

用无偏估计 代替误差项方差 , 代入 得到的统计量服从自由度为n-K-1的t分布,记为 = t(n-K-1) 这个t分布统计量是对多元线性回归参数估计量进行统计推断和检验的基础。

二、统计推断和检验 (一)单个参数的置信区间 (二)参数显著性检验 (三)模型总体显著性检验

(一)单个参数的置信区间 对给定的或要求的置信度,下式应该成立: | |=  因此参数 置信度为 的置信区间(或称区间估计)为: | |=  因此参数 置信度为 的置信区间(或称区间估计)为: [ - , + ]

投资函数模型参数 的区间估计 首先根据EViews给出的回归分析结果,知道 的点估计 =0.639117, 的方差 即 =0.052896。 投资函数模型参数 的区间估计 首先根据EViews给出的回归分析结果,知道 的点估计 =0.639117, 的方差 即 =0.052896。 再通过查表得到自由度为 ,显著性水平=0.05的双侧t分布临界值 把这些数值及代入区间估计公式,可得:

(二)参数的显著性检验 可以对多元线性回归模型的各个参数进行显著性检验,或取特定值的假设检验。 模型参数显著性检验就是对相应参数检验原假设 : =0。如果 =0成立,那么意味着不能排除模型中第k个假设变量是不重要的。 根据要求的置信度(95%或99%),查t分布表得到自由度为n-K-1的t分布统计量的双侧分布临界值。

 = =  (n-K-1) 如果假设 是真实的,那么95%或99%应该成立: 如果假设 是真实的,那么95%或99%应该成立:  = =  (n-K-1) 如果t 统计量数值不满足上述不等式,意味着可以拒绝原假设,不能认为第k个解释变量是不重要的,称模型的第k个解释变量通过了显著性检验。

除了上述参数非0的显著性检验以外,也可以检验多元回归模型各个参数取非0的其他特定值的可能性。 检验的原理与显著性检验基本相同,只要把参数的真实值 换成要检验是否成立的数值即可。

(三)模型总体显著性检验 多元线性回归模型每个参数的显著性与模型总体的显著性并不一定一致。 因此还可以进行模型总体显著性,也就是全体解释变量总体对被解释变量是否存在明显影响的检验,称为“回归显著性检验”。 回归显著性检验的基本方法,是检验模型常数项以外所有参数同时为0的假设,即检验原假设为 : =0。

为了方便起见,实践中一般都利用 成立时模型的决定系数应为0的事实,通过检验决定系数的显著性间接检验回归显著性。 决定系数的显著性则利用下列F分布统计量进行检验: F = F (K,n-K-1) 给定显著性水平(对应置信度1-),查F 分布临界值表,得到临界值F (K,n-K-1),若F 统计量大于F 回归是显著的,否则是不显著的。

三、预测 预测也是多元线性回归分析的目的和进一步检验模型的方法,也包括点预测和区间预测两方面。 点预测就是求对应解释变量观测值 的被解释变量值 的估计。 得到回归直线以后,只要 把代入回归直线,得到: 就是一个点预测。

即使模型代表的经济规律在预测时刻是严格成立的,预测 与实际发生的 一般也不会完全一样,因为预测和实际值之间存在预测误差。 但在模型假设成立的前提下,上述基于最小二乘参数估计的预测是一个“线性无偏预测”,而且是具有最小方差的线性无偏预测,也称为“最优预测”。 是观测值 的线性组合,以 为数学期望,且服从正态分布。

利用点预测的上述性质,我们可以构造比点预测更有意义的区间预测: [  se( ), + se( )]

(例)利用投资函数模型进行预测 = ≈0.203 假设1984年的GNP为1.52万亿元,要求预测该年该地区的总投资。 = ≈0.203

用EViews软件进行预测时,需要先把工作文件的样本范围扩大(change workfile range)至包括1984年,然后在数据库中加以编辑(edit),输入1984年的解释变量数值(17,1.52)。 进行回归以后,在回归结果窗口直接点击菜单“forcast”,并在对话框中选择预测样本区间为1968-1984,为了得到预测的标准差序列,在对话框中将其命名为SEYF。 结果可输出如下的预测图形:

投资函数预测图形

注意在回归样本区间范围内的预测实际上就是拟合,主要作用是检验模型。 对应1984年的最后一个预测值(YF)0.202918和预测标准差(SEYF)0.008896是我们真正关注的预测。

在点预测和预测标准差的基础上,很容易进一步构造区间预测了。仍然采用95%的置信度,t 分布临界值仍然是 。 将上述点预测和预测标准差代入区间预测的公式,得到 的95%置信度的区间预测为[0.184,0.222]。