多元回归分析:异方差性 y = b0 + b1x1 + b2x2 + . . . bkxk + u 计量经济学导论 刘愿.

Slides:



Advertisements
Similar presentations
2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
Advertisements

非线性时间序列模型 一般非线性时间序列模型介绍 条件异方差模型 上海财经大学 统计与管理学院.
兒歌創作與實務 產學合作音樂教師  林麗青 99/11.
3.2.平稳性检验的单位根方法 单位根检验方法 DF检验 ADF检验 PP检验 KPSS检验 ERS检验 NP检验.
第六章 回归分析.
5 多元线性回归分析 §1 一元线性回归分析 §2 多元线性回归分析 §3 最优回归方程的选取 §4 可线性化的非线性回归.
第三章 异方差和自相关.
第十章 相关与回归分析 PowerPoint 统计学.
小班早期阅读讲座.
圆的一般方程 (x-a)2 +(y-b)2=r2 x2+y2+Dx+Ey+F=0 Ax2+Bxy+Cy2+Dx+Ey+ F=0.
一、能线性化的多元非线性回归 二、多元多项式回归(线性化)
第四章 回归假设的二级检验: 计量经济学检验
第三章 函数逼近 — 最佳平方逼近.
多元回归分析:虚拟变量 y = b0 + b1x1 + b2x bkxk + u 计量经济学导论 刘愿.
人力资源市场统计工作介绍 人力资源市场与人员调配处 郭俊霞 2014年12月.
多元回归分析:推断 y = b0 + b1x1 + b2x bkxk + u 计量经济学导论 刘愿.
第四章 经典单方程计量经济学模型:放宽基本假定的模型
第五章 模型的建立与估计中的问题及对策.
第二章 经典单方程计量经济学模型: 一元线性回归模型
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
全 微 分 欧阳顺湘 北京师范大学珠海分校
第三章 导数与微分 习 题 课 主要内容 典型例题.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
计量经济学 第三章 多元线性回归模型.
曲线拟合 Curve fitting 2002级研究生《医学统计学》.
Y = b0 + b1x + u ch2 简单二元回归 y = b0 + b1x + u 1.
第7章 表單的使用介面 7-1 表單的基礎 7-2 使用精靈建立表單 7-3 表單視窗的檢視模式 7-4 表單的基本使用
简单回归模型 过原点回归 简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧 度量单位和函数形式 OLS估计量的期望值和方差
Chapter 2 簡單迴歸模型.
第八章 第一节 日本 邹旭丹 滨河中学初中部 湘教版地理初一年级.
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
§3.3 多元线性回归模型的统计检验 一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验(t检验) 四、参数的置信区间.
多元回归分析:渐进性 y = b0 + b1x1 + b2x bkxk + u
关于虚拟变量回归模型 教学目的:了解虚拟变量的含义及使用,能够应用软件进行实例模拟。 教学内容: 虚拟变量的基本含义及使用
第二章 回归模型 法、参数的普通最小二乘估计式及相关性质、对模型的经济意 义检验和统计检验,能应用Eviews软件进行最小二乘估计与统
一元线性回归模型 § 1 回归分析概述 § 2 一元线性回归模型的参数估计 § 3 一元线性回归模型的统计检验
第二章 一元线性回归模型.
第2章 一元线性回归 2 .1 一元线性回归模型 2 .2 参数 的估计 2 .3 最小二乘估计的性质 2 .4 回归方程的显著性检验
第4章 多元线性回归分析.
第2章 一元线性回归分析 §2.1 :回归分析及回归模型 §2.2 :一元线性模型的参数估计 §2.3 :参数估计值的性质及统计推断
计算机数学基础 主讲老师: 邓辉文.
多元回归分析:估计 y = b0 + b1x1 + b2x bkxk + u 计量经济学导论 刘愿.
第十章 方差分析.
黄土高原的水土流失 标题 水土流失的原因 水土流失的危害 治理措施 参考文献 小组成员.
统 计 学 (第三版) 2008 作者 贾俊平 统计学.
第七章 参数估计 7.3 参数的区间估计.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
3.8.1 代数法计算终点误差 终点误差公式和终点误差图及其应用 3.8 酸碱滴定的终点误差
概 率 统 计 主讲教师 叶宏 山东大学数学院.
§4.2 序列相关性 Serial Correlation.
用统计学方法研究电商平台上的产品销售特征
第五章 异方差.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
第8章 開放經濟體的經濟政策分析.
相关与回归 非确定关系 在宏观上存在关系,但并未精确到可以用函数关系来表达。青少年身高与年龄,体重与体表面积 非确定关系:
多层循环 Private Sub Command1_Click() Dim i As Integer, j As Integer
第三章 两变量线性回归.
第四章 多元线性回归分析.
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
概率论与数理统计B.
正弦、余弦函数的性质 华容一中 伍立华 2017年2月24日.
§2 方阵的特征值与特征向量.
第二节 简单线性回归模型的最小二乘估计 用样本去估计总体回归函数,总要使用特定的方法,而任何估 计参数的方法都需要有一定的前提条件——假定条件 一、简单线性回归的基本假定 为什么要作基本假定? ●只有具备一定的假定条件,所作出的估计才具有良好的统计性质。 ●模型中有随机扰动项,估计的参数是随机变量,显然参数估计值的分布与扰动项的分布有关,只有对随机扰动的分布作出假定,才能比较方便地确定所估计参数的分布性质,也才可能进行假设检验和区间估计等统计推断。
第五章 异方差.
第三节 随机区组设计的方差分析 随机区组设计资料的总平方和可以分解为三项: (10.10).
多元线性回归分析.
数学模型实验课(二) 最小二乘法与直线拟合.
Presentation transcript:

多元回归分析:异方差性 y = b0 + b1x1 + b2x2 + . . . bkxk + u 计量经济学导论 刘愿

异方差之定义 同方差性假定意味着Var(u|X)=常数。 然而,若u的方差因X而异,则出现异方差。 计量经济学导论 刘愿

异方差性图示 f(y|x) y . . E(y|x) = b0 + b1x . x1 x2 x3 x 计量经济学导论 刘愿

异方差的后果 即使不满足同方差性,OLS估计仍然是无偏和一致的。 如出现异方差,参数估计值的标准误是有偏的。 标准误有偏,通常的t统计量和F统计量或者LM统计量在统计推断时失效。 计量经济学导论 刘愿

出现异方差时的方差 计量经济学导论 刘愿

出现异方差时的方差 计量经济学导论 刘愿

稳健标准误 如果我们获得方差的一致估计值,则可用之作为标准误进行统计推断。 通常,我们称之为稳健标准误。 有时候,估计的方差乘以n/(n – k – 1)进行自由度修正。当 n → ∞,自由度修正无关紧要。 计量经济学导论 刘愿

稳健标准误(续) 稳健标准误只有渐进的正确性:在小样本情况下,以稳健性标准误计算的t统计量并不服从t分布,据此作统计推断并不正确。 计量经济学导论 刘愿

例子8.1 异方差-稳健标准误的工资对数方程 计量经济学导论 刘愿

一般的LM统计量 计量经济学导论 刘愿

稳健LM统计量 对受约束模型进行OLS回归并保存残差项ŭ. 依次将排除的自变量对所有其他未排除的自变量进行回归(q个回归方程),保存每次回归的残差项ř1, ř2, …, řq. 将1对ř1 ŭ, ř2 ŭ, …, řq ŭ进行零截距回归。 LM统计量是n – SSR1,其中SSR1是最后一个回归所得到的残差平方和。 计量经济学导论 刘愿

异方差检验 实质上是检验test H0: Var(u|x1, x2,…, xk) = s2, 或H0: E(u2|x1, x2,…, xk) = E(u2) = s2 假设u2 与 xj 的关系是线性的,则可检验一个线性约束。 如对模型 u2 = d0 + d1x1 +…+ dk xk + v,则检验H0: d1 = d2 = … = dk = 0 计量经济学导论 刘愿

Breusch-Pagan检验 误差项不可观测,但可以从OLS回归中估计之。 将残差平方对所有自变量进行回归后,获得R2 形成F或LM检验。 F统计量恰好是报告的模型总体显著性的F统计量,服从Fk, n – k – 1分布。 F = [R2/k]/[(1 – R2)/(n – k – 1)] LM统计量为LM = nR2, 服从c2k分布 计量经济学导论 刘愿

异方差性的BP检验 计量经济学导论 刘愿

例8.4 住房价格方程中的异方差性 计量经济学导论 刘愿

怀特检验 BP检验能够发现任何线性的异方差性。 怀特检验允许对x的平方项和交互项进行非线性检验。 仍然使用F 或 LM 检验是否所有的 xj, xj2 及 xjxh 联合显著。 这样会耗费很多自由度,怀特检验可以使用另外的技巧。 计量经济学导论 刘愿

怀特检验的备选形式 OLS的拟合值ŷ是所有x的函数。 因此,ŷ2 是x的平方项和交互项的函数,ŷ 和 ŷ2 可作为xj, xj2及 xjxh代理变量。 将残差平方和对ŷ 和 ŷ2 进行回归,并使用R2 计算F 或LM 统计量。 注意只是检验2两个约束。 计量经济学导论 刘愿

加权最小二乘法(WLS) 总是有办法估计OLS估计量的稳健标准误。如果我们知道异方差的特定形式,我们可以获得比OLS更有效的估计量。 基本的想法是,将其转换成拥有同方差标准误的模型,即加权最小二乘法。 计量经济学导论 刘愿

已知异方差形式的例子 假设异方差表现为Var(u|x) = s2h(x),关键是找出函数h(x) . 因为hi 是x 的一个函数, Var(ui/√hi|x) = s2 ,所以E(ui/√hi|x) = 0。 因此,如果将方程两边除以√hi ,我们将获得同方差之模型。 计量经济学导论 刘愿

例子:储蓄方程的异方差 计量经济学导论 刘愿

更一般的例子 计量经济学导论 刘愿

广义最小二乘法(GLS) 用OLS估计转换后的方程是广义最小二乘法(GLS)的一个例子。 GLS是最优线性无偏估计。 GLS 是加权最小二乘估计,其中残差平方以Var(ui|xi)的倒数为权数。 计量经济学导论 刘愿

加权最小二乘法 直觉地考察为何将OLS应用于转换过的方程是合适的,尽管这一转换较为琐碎。 加权最小二乘估计可以得到同样的结果,即使没有经过方程转换。 基本的想法是使误差平方和最小。 (以1/hi权重) 要将估计值放到原方程中解释。 计量经济学导论 刘愿

计量经济学导论 刘愿

加权最小二乘估计:评论 如果我们了解Var(ui|xi) 的形式,WLS是一个不错的选择。 在很多情况下,我们并不知道异方差的形式。 一个例子是,回归时数据时加总的,但模型则是针对个人的。 希望以个体数为权数对每个加总的观测进行加权。 计量经济学导论 刘愿

计量经济学导论 刘愿

计量经济学导论 刘愿

可行GLS(FGLS) 更常见的情况是我们不知道异方差的形式。 在这种情况下,需要估计h(xi)。 通常来说,我们假设异方差的形式较具有弹性,如 Var(u|x) = s2exp(d0 + d1x1 + …+ dkxk) 既然我们不知道d, 则必须估计之。 计量经济学导论 刘愿

FGLS (续) 我们的假设意味着u2 = s2exp(d0 + d1x1 + …+ dkxk)v 其中,E(v|x) = 1, 如E(v) = 1 ln(u2) = a0 + d1x1 + …+ dkxk + e 其中E(e) = 1 且 e 独立于 x。 û 是 u的估计值, 我们可以用OLS估计上式。 计量经济学导论 刘愿

FGLS (续) h的估计值是 ĥ = exp(ĝ), 其倒数即为权重.。接下来的程序是: (1)用OLS估计原来的模型,保存残差û,取其平方之对数。 (2)将ln(û2)对所有自变量进行回归获得拟合值 ĝ. (3)以1/exp(ĝ)作为权重进行WLS回归。 计量经济学导论 刘愿

计量经济学导论 刘愿

计量经济学导论 刘愿

再议线性概率模型 计量经济学导论 刘愿

用WLS估计线性概率模型 计量经济学导论 刘愿

WLS Wrapup When doing F tests with WLS, form the weights from the unrestricted model and use those weights to do WLS on the restricted model as well as the unrestricted model Remember we are using WLS just for efficiency – OLS is still unbiased & consistent Estimates will still be different due to sampling error, but if they are very different then it’s likely that some other Gauss-Markov assumption is false 计量经济学导论 刘愿