多元回归分析:推断 y = b0 + b1x1 + b2x2 + . . . bkxk + u 计量经济学导论 刘愿.

Slides:



Advertisements
Similar presentations

Advertisements

3 的倍数的特征 的倍数有 : 。 5 的倍数有 : 。 既是 2 的倍数又是 5 的倍数有 : 。 12 , 18 , 20 , 48 , 60 , 72 , , 25 , 60 ,
第一章 、随机事件与概率 1.1 、随机事件 1.2 、随机事件的概率 1.3 、随机事件概率的计算 1.4 、伯努利概型.
7.1 假设检验 1. 假设检验的基本原理 2. 假设检验的相关概念 3. 假设检验的一般步骤 4. 典型例题 5. 小结.
第四章 假设检验 第4.1节 假设检验的基本概念 第4.2节 正态总体均值与方差 的假设检验 第4.3节 非参数假设检验方法
第六章 样本及抽样分布 简单随机抽样: 代表性: 中每一个与所考察的总 体有相同的分布。 2.独立性: 是相互独立的随机变量。
圆的一般方程 (x-a)2 +(y-b)2=r2 x2+y2+Dx+Ey+F=0 Ax2+Bxy+Cy2+Dx+Ey+ F=0.
一、能线性化的多元非线性回归 二、多元多项式回归(线性化)
10.2 立方根.
6.6 单侧置信限 1、问题的引入 2、基本概念 3、典型例题 4、小结.
完全随机设计多样本资料秩和检验.
第 8 章 假设检验 作者:中国人民大学统计学院 贾俊平 PowerPoint 统计学.
《高等数学》(理学) 常数项级数的概念 袁安锋
第一章 行列式 第五节 Cramer定理 设含有n 个未知量的n个方程构成的线性方程组为 (Ⅰ) 由未知数的系数组成的n阶行列式
第八章 假设检验 本章重点: 1、正确建立零假设和备择假设 2、理解第一类错误和第二类错误 3、大样本情况下单个总体的假设检验
2-7、函数的微分 教学要求 教学要点.
第一章 商品 第一节 价值创造 第二节 价值量 第三节 价值函数及其性质 第四节 商品经济的基本矛盾与利己利他经济人假设.
初中数学八年级下册 (苏科版) 10.4 探索三角形 相似的条件(2).
简单回归模型 过原点回归 简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧 度量单位和函数形式 OLS估计量的期望值和方差
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
§3.3 多元线性回归模型的统计检验 一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验(t检验) 四、参数的置信区间.
多元回归分析:渐进性 y = b0 + b1x1 + b2x bkxk + u
一元线性回归模型 § 1 回归分析概述 § 2 一元线性回归模型的参数估计 § 3 一元线性回归模型的统计检验
第2章 一元线性回归 2 .1 一元线性回归模型 2 .2 参数 的估计 2 .3 最小二乘估计的性质 2 .4 回归方程的显著性检验
4
第2章 一元线性回归分析 §2.1 :回归分析及回归模型 §2.2 :一元线性模型的参数估计 §2.3 :参数估计值的性质及统计推断
计算机数学基础 主讲老师: 邓辉文.
多元回归分析:估计 y = b0 + b1x1 + b2x bkxk + u 计量经济学导论 刘愿.
第十章 方差分析.
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
第七章 参数估计 7.3 参数的区间估计.
若2002年我国国民生产总值为 亿元,如果 ,那么经过多少年国民生产总值 每年平均增长 是2002年时的2倍? 解:设经过 年国民生产总值为2002年时的2倍, 根据题意有 , 即.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
第一章 函数与极限.
习题 一、概率论 1.已知随机事件A,B,C满足 在下列三种情况下,计算 (1)A,B,C相互独立 (2)A,B独立,A,C互不相容
抽样和抽样分布 基本计算 Sampling & Sampling distribution
6.4不等式的解法举例(1) 2019年4月17日星期三.
多元回归分析:异方差性 y = b0 + b1x1 + b2x bkxk + u 计量经济学导论 刘愿.
模型分类问题 Presented by 刘婷婷 苏琬琳.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第四章 一次函数 4. 一次函数的应用(第1课时).
5.2 常用统计分布 一、常见分布 二、概率分布的分位数 三、小结.
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
第4章 Excel电子表格制作软件 4.4 函数(一).
第16讲 相似矩阵与方阵的对角化 主要内容: 1.相似矩阵 2. 方阵的对角化.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
相关与回归 非确定关系 在宏观上存在关系,但并未精确到可以用函数关系来表达。青少年身高与年龄,体重与体表面积 非确定关系:
概 率 统 计 主讲教师 叶宏 山东大学数学院.
第4课时 绝对值.
第三章 两变量线性回归.
第四章 多元线性回归分析.
学习任务三 偏导数 结合一元函数的导数学习二元函数的偏导数是非常有用的. 要求了解二元函数的偏导数的定义, 掌握二元函数偏导数的计算.
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
§5.2 抽样分布   确定统计量的分布——抽样分布,是数理统计的基本问题之一.采用求随机向量的函数的分布的方法可得到抽样分布.由于样本容量一般不止2或 3(甚至还可能是随机的),故计算往往很复杂,有时还需要特殊技巧或特殊工具.   由于正态总体是最常见的总体,故本节介绍的几个抽样分布均对正态总体而言.
概率论与数理统计B.
第二节 函数的极限 一、函数极限的定义 二、函数极限的性质 三、小结 思考题.
正弦、余弦函数的性质 华容一中 伍立华 2017年2月24日.
第八章 假设检验 8.1 假设检验的基本概念.
第二节 简单线性回归模型的最小二乘估计 用样本去估计总体回归函数,总要使用特定的方法,而任何估 计参数的方法都需要有一定的前提条件——假定条件 一、简单线性回归的基本假定 为什么要作基本假定? ●只有具备一定的假定条件,所作出的估计才具有良好的统计性质。 ●模型中有随机扰动项,估计的参数是随机变量,显然参数估计值的分布与扰动项的分布有关,只有对随机扰动的分布作出假定,才能比较方便地确定所估计参数的分布性质,也才可能进行假设检验和区间估计等统计推断。
第三节 随机区组设计的方差分析 随机区组设计资料的总平方和可以分解为三项: (10.10).
第十五讲 区间估计 本次课讲完区间估计并开始讲授假设检验部分 下次课结束假设检验,并进行全书复习 本次课程后完成作业的后两部分
滤波减速器的体积优化 仵凡 Advanced Design Group.
第八章 假设检验 8.3 两个正态总体参数的假设检验.
多元线性回归分析.
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
一元一次方程的解法(-).
§2 自由代数 定义19.7:设X是集合,G是一个T-代数,为X到G的函数,若对每个T-代数A和X到A的函数,都存在唯一的G到A的同态映射,使得=,则称G(更严格的说是(G,))是生成集X上的自由T-代数。X中的元素称为生成元。 A变, 变 变, 也变 对给定的 和A,是唯一的.
Presentation transcript:

多元回归分析:推断 y = b0 + b1x1 + b2x2 + . . . bkxk + u 计量经济学导论 刘愿

关于假设检验 考虑一个选举问题:假定在一次选举中有两个候选人A和B。据报道,候选人A已得到42%的选票,候选人B得到58%的选票。姑且把这个百分比看成选民总体的真正百分比。候选人A深信更多的民众会投他的票,因此想调查选举是否有作弊情况,并雇用一个咨询机构随机抽取100名选举人的样本,所收集的样本中有53人投了候选人A的票。这一样本估计值53%明显超过所报告的总体值42%,候选人A应否据此作出结论说选举存在作弊? 计量经济学导论 刘愿

设立一个假设检验(hypothesis test),令Θ代表赞成候选人A的总体真实比例,令所报告的结果为真实的假设,陈述为: H0: Θ=0.42 虚拟假设(null hypothesis) H1: Θ>0.42 对立假设(alternative hypothesis) 在上例中,100个随机样本中究竟有多少人投候选人A的票才能够足以使A能否作出H0错误而H1正确的结论?(合理的勿容置疑的证据) 计量经济学导论 刘愿

第Ⅰ类错误:拒绝一个其实是真实的虚拟假设 第Ⅱ类错误:未拒绝一个实际上是错误的虚拟 假设 检验的显著性水平:犯第Ⅰ类错误的概率 假设检验中会犯的两种错误: 第Ⅰ类错误:拒绝一个其实是真实的虚拟假设 第Ⅱ类错误:未拒绝一个实际上是错误的虚拟 假设 检验的显著性水平:犯第Ⅰ类错误的概率 其含义为:当H0为真实时拒绝H0的概率 计量经济学导论 刘愿

经典的假设检验要求设定a值,从而量化我们对第Ⅰ类错误的容忍度。通常a值有0.10,0.05,0.01。 一旦选定显著水平,检验的目标是把第Ⅱ类错误的概率减到最小。即对所有有意义的对立情况使一个检验的功效最大。一个检验的功效是1减去第Ⅱ类错误的概率。数学上表示为: 计量经济学导论 刘愿

检验关于正态总体均值的假设 为了相对于一个对立假设而检验一个虚拟假设,需要挑选一个检验统计量和一个临界值。 给定一个统计量,即可定义一个拒绝规则来决定什么时候舍弃H0而选取H1.所有拒绝规则都是拿一个检验统计量的值t来同一个临界值c做比较作为依据的。 拒绝域:所有导致拒绝虚拟假设的t值的全体。 计量经济学导论 刘愿

检验来自一个 总体的关于均值 的假设。 虚拟假设 单侧对立假设 双侧对立假设 计量经济学导论 刘愿

当样本均值 “足够”地大于 时,我们便应拒绝H0而接受H1。如何确定 已大到足以在选定的显著水平上拒绝H0? 检验统计量t:在虚拟假设下,随机变量t有一个tn-1分布。 临界值c:5%的显著水平 计量经济学导论 刘愿

(c为tn-1分布中的第100(1-a)百分位数) 拒绝规则: t>c (c为tn-1分布中的第100(1-a)百分位数) 计量经济学导论 刘愿

双尾检验(two tailed test) 拒绝规则: | t |>c 给出100a%显著水平的检验 (c为tn-1分布中的第100(1-a/2)百分位数) 计量经济学导论 刘愿

经典线性模型假定 给定高斯-马尔科夫假定,OLS是最优线性无偏估计。 为了做经典的假设检验,我们需要添加额外一个假定,即MLR.6:u 独立于x1, x2,…, xk ,且u 服从标准正态分布,即u ~ Normal(0,s2) MLR.1-MLR.6: 经典线性模型假设(CLM) 计量经济学导论 刘愿

经典线性回归假设(续) 在经典线性回归假设下,OLS 不仅是最优线性无偏的,而且是方差最小的无偏估计。 经典线性回归总体假设: y|x ~ Normal(b0 + b1x1 +…+ bkxk, s2) 虽然我们假设u服从正态分布,但有时候并非如此: u中的众多因素可能各有极为不同的总体分布; u是不可观测因素的一个复杂函数,而非线性可加; 假定u的正态性,实际上是一个经验性问题。 大样本能够让u近似的满足正态性。 计量经济学导论 刘愿

. . 简单回归的同方差正态分布 y x1 x2 f(y|x) E(y|x) = b0 + b1x Normal distributions 计量经济学导论 刘愿

定理4.1 正态抽样分布 计量经济学导论 刘愿

定理4.1推广: 计量经济学导论 刘愿

4.2 t检验 计量经济学导论 刘愿

t检验(续) 标准化参数的样本分布使得我们可以进行假设检验。 从虚拟假设开始,如H0: bj=0;如果接受虚拟假设,则意味着在控制其他因素不变的情况下,xj 对 y没有效应。 计量经济学导论 刘愿

t检验(续) 计量经济学导论 刘愿

t检验:单侧备选假设 除了虚拟假设H0之外,我们还需要一个备选假设H1和一个显著性水平或当H0为真时拒绝它的概率。 H1: bj > 0 及 H1: bj < 0 都是单侧备选假设; H1: bj  0 是双侧备选假设。 如果我们想在5%的概率下拒绝一个为真的虚拟假设H0,那么我们的显著性水平为5%。 计量经济学导论 刘愿

单侧备选假设(续) 选定一个显著性水平 a,在一个自由度为n-k-1的t分布中将得到(1 – a)th 百分数,称之为临界值 c。 我们可以拒绝虚拟假设,如果t统计量大于临界值C. 如果t小于临界值C,则无法拒绝虚拟假设。 计量经济学导论 刘愿

单侧备选假设(续) yi = b0 + b1xi1 + … + bkxik + ui H0: bj = 0 H1: bj > 0 无法拒绝 拒绝 (1 - a) a c 计量经济学导论 刘愿

单侧还是双侧假设 t分布是对称的,检验H1: bj < 0 是非常直观的,临界值变成负数。 我们可以拒绝虚拟假设,如果t < –c, 如果t > –c,则我们无法拒绝虚拟假设。 当bj 的符号在理论中是不明确的话,双侧对立假设就是有用的。 对双侧检验来说,我们是根据a/2来确定临界值,如果t的绝对值大于C,则拒绝H1: bj  0 。 计量经济学导论 刘愿

双侧对立假设 yi = b0 + b1Xi1 + … + bkXik + ui H0: bj = 0 H1: bj≠0 (1 - a) 无法拒绝 拒绝 拒绝 (1 - a) a/2 a/2 -c c 计量经济学导论 刘愿

总结:H0: bj = 0 除非特别说明,对立假设均假定为双侧的。 如果我们拒绝虚拟假设,通常我们会说:“在a %的水平上, xj 在统计上显著异于零。” 如果我们无法拒绝虚拟假设,通常我们说 “在a % 的水平上,xj 在统计上不显著。” 计量经济学导论 刘愿

例子4.2:学生成绩及学校规模 计量经济学导论 刘愿

例子4.3 大学城GPA的决定因素 计量经济学导论 刘愿

检验其他假设 T检验的更一般形式是:H0: bj = aj 在这种情况下,t统计量的表述是 计量经济学导论 刘愿

例子:校园犯罪与注册人数 H0:b1=1; H1:b1>1 由4.14可见,犯罪对注册人数的估计弹性1.27在对立假设b1 >1的方向上。但是否有足够的证据断定b1 >1呢? 计量经济学导论 刘愿

计算t检验的p值 事前指定一个显著性水平的不足之处: 不存在一个“正确的”的显著性水平; 可能隐藏假设检验结果方面的有用信息 t=1.85, c(40,5%)=2.021, c(40,10%)=1.684, 检验p值:给定t统计量的观测值,能拒绝虚拟假设的最小显著性水平是多少? 计量经济学导论 刘愿

1.t表示一个自由度为n-k-1的t分布随机变量;t表示该检验统计量的数值。 2.p值的解释:观察到一个t统计量至少和虚拟假设正确时的t统计量一样大的概率:(以t为临界值时的显著性水平) 小p值是拒绝虚拟假设的证据; 大p值不能提供拒绝虚拟假设的证据。 计量经济学导论 刘愿

计量经济学导论 刘愿

一般情况的拒绝规则 a表示检验的显著性水平; p值<a,则拒绝虚拟假设;否则,在100a%的显著性水平下,就不能拒绝H0。 1.考虑参数估计值方向与对立假设的关系; 2.将双侧对立假设的p值除以2即得到单侧对立假设的p值。 计量经济学导论 刘愿

统计检验值得注意的问题 当H0未被拒绝时,应该如何表述: 我们通常说“在a%的水平上我们不能拒绝H0” 计量经济学导论 刘愿

经济或实际显著性与统计显著性 统计显著性:t值 经济显著性: 1.统计显著并不意味着实际作用显著 2.实际作用显著并不意味着统计显著 3.大样本选择较小的显著性水平,反之亦然。 计量经济学导论 刘愿

例子4.6: 401(K)养老金计划的参与率 计量经济学导论 刘愿

例子4.7 在职培训津贴对企业废品率的影响 计量经济学导论 刘愿

总结 检查统计显著性:如果该变量是统计显著的,讨论系数的大小,以对其实际或经济上的重要性有所认识。 如果一个变量在通常的显著性水平上不是统计显著的,仍需考察该变量对y是否有预期的影响及其实际的经济重要性,如果重要则计算p值。 一个显著的变量却拥有非预期的符号,并且在经济上具有重要性,则问题更加麻烦。 计量经济学导论 刘愿

置信区间 使用经典统计检验的另一个方法是用在双侧检验中同样的临界值构建一个置信区间Another way to use classical statistical testing is 。 一个 对未知参数(1 - a) % 的置信区间定义如下: 计量经济学导论 刘愿

置信区间的上界和下界是: 置信区间的含义:如果一次又一次地获得随机样本,每次计算出 上界和下界,那么未知的总体参数将在95%的置信区间中出现。 计量经济学导论 刘愿

如何构建一个置信区间 需要三个量: 对于95%显著性水平的置信区间,一个简单的拇指法则是: 双侧对立假设的置信区间检验规则: aj 是否落入95%水平的置信区间,落入则无法拒绝,未落入则拒绝。 计量经济学导论 刘愿

Example 4.8 Hedonic Price Model for Houses 计量经济学导论 刘愿

检验关于参数的一个线性组合 假设现在不是检验 b1 等于一个常数,而是是否等于另一个参数,即H0 : b1 = b2, and H1 : b1 < b2。 计量经济学导论 刘愿

使用同样的基本程序形成t统计量: 计量经济学导论 刘愿

检验线性组合(续) 计量经济学导论 刘愿

检验线性组合(续) 需要s12,但标准的输出结果没有这一项。 很多统计软件包有选项获取这一协方差,或者直接进行检验。 在Stata中,执行y对x1, x2, … xk的回归,键入“test x1 = x2”可得该检验的p值。 更一般地,我们可以重新表述这个问题来进行检验。 计量经济学导论 刘愿

定义一个新的参数,新的检验是: 计量经济学导论 刘愿

针对单侧对立假设4.19, p值大概是0.075,因 此有证据但不是很强的证据拒绝虚拟假设4.18。 计量经济学导论 刘愿

对多个线性约束的检验:F检验 目前我们仅涉及检验一个单一的线性约束,如b1 = 0或b1 = b2 。 然而,我们希望对参数的多个假设进行联合检验。 经典例子是检验“排除性约束” :一组参数是否等于零。 计量经济学导论 刘愿

检验排除性约束 虚拟假设H0: bk-q+1 = 0, ... , bk = 0; 对立假设是H1: H0 不正确(即至少有一个参数不为零). 可否单独检验每一个t统计量? 由于我们希望了解q个参数的联合显著性,单独检验t无法做到这一点。 计量经济学导论 刘愿

排除性约束检验(续) 分别估计受约束模型和不受约束模型。 直观的,我们希望了解两个模型残差平方和的变化是否足够大以确定是否应该包括被排除掉的变量xk-q+1,, …, xk.。 计量经济学导论 刘愿

F 统计量 F 统计量总是为正,既然受限制模型的残差平方SSR和不可能小于不受限制的残差平方和。 q 限制条件个数, dfr – dfur n – k – 1 = dfur 计量经济学导论 刘愿

F 统计量(续) 为了决定残差平方和的这一增加是否足够大以拒绝这一限制性条件,我们需要了解F统计量的样本分布。 F ~ Fq,n-k-1, 其中q 指F统计量分子的自由度,n – k – 1指分母的自由度。 计量经济学导论 刘愿

F分布 计量经济学导论 刘愿

F分布(续) f(F) 在a 显著性水平下拒绝H0 ,如果F > c 无法拒绝 拒绝 (1 - a) a c F 计量经济学导论 刘愿

例子:运动员表现及其薪水 计量经济学导论 刘愿

计量经济学导论 刘愿

因为F统计量大于临界值2.6,因此,我们拒绝bavg,hrunsyr和rbisyr对薪水没有影响的假设。 为何bavg,hrunsyr和rbisyr三变量的参数估计值未通过t检验,而其F检验却是显著的? 当自变量存在多重共线性时,模型结果难以发现每个变量的偏效应,但却可能发现联合显著性。 计量经济学导论 刘愿

F统计量与t统计量的关系 当F统计量检验单个变量的排除性时,等于对应的t统计量的平方。 给定对立假设为双侧, t2n-k-1与F1,n-k-1 拥有同样的分布,两种方法的结果一致。 计量经济学导论 刘愿

F统计量的R2 型 SSR很大程度上依赖于度量单位, 可以用R2计算F统计量。 依据SSR = SST(1 – R2) ,F统计量的R2型为: 计量经济学导论 刘愿

续上例,F统计量的R2型为 计量经济学导论 刘愿

计算F检验的p值 计量经济学导论 刘愿

在a显著性水平上拒绝H0,如果 if > F 。 无法拒绝 拒绝 (1 - a) a F 计量经济学导论 刘愿

回归整体显著性的F统计量 排除性约束的一个特例是检验H0: b1 = b2 =…= bk = 0,即假设模型中没有任何一个解释变量对y有作用。 既然只有截距项的模型R2 等于零,则整体显著性的F统计量为: 计量经济学导论 刘愿

如果H0被拒绝,则我们得到结论认为模型中的变量的确对y有解释力,意味着回归是总体显著的。 相反,如果我们无法拒绝H0,则没有证据表明模型中的任何一个变量有助于解释y,我们必须需找其他变量来解释y。 因此,我们必须计算F统计量来检验联合显著性,而非仅仅看R2的大小。 计量经济学导论 刘愿

检验一般的线性约束 F统计量的基本形式可适用于任何的线性约束,而非仅仅是排除性约束。 先估计受约束模型,再估计不受约束模型,然后记录两个模型的残差平方和 施加约束可以变得很有技巧,类似于重新定义变量。 计量经济学导论 刘愿

例子:住房评估价是否理性? 计量经济学导论 刘愿

计量经济学导论 刘愿

F 统计量总结 与t统计量一样,F检验的p值可以通过查询F分布图的百分位数计算得到。 输入如下命令,Stata会执行F检验: display fprob(q, n – k – 1, F)。 当只有一个排除性约束需检验时,F = t2,p值相等。 计量经济学导论 刘愿