一元线性回归（二）.

Presentation on theme: "一元线性回归（二）."— Presentation transcript:

1 一元线性回归（二）

2 无常数项的回归 偶尔也进行无常数项的回归，这或许是由于经济理论的要求，也可能在做模型变换时消去了常数项。
由于无常数项的回归必然经过原点，故也称为“经过原点的回归”(regression through the origin)。

3

4 如果回归模型无常数项，则平方和分解公式不成立，故不宜使用R2来度量拟合优度。

5 关于自由度 (degree of freedom)
自由度的概念由统计学家R.A Fisher提出。从字面涵义来看，自由度是指一组数据中可以自由取值的个数。 是指数据个数与附加给独立的观测值的约束或限制的个数之差。 当样本数据的个数为n时，若样本平均数确定后，则附加给n个观测值的约束个数就是1个，因此只有n-1个数据可以自由取值，其中必有一个数据不能自由取值。 按着这一逻辑，如果对n个观测值附加的约束个数为k个，自由度则为n-k。

6 1. 样本有3个数值，即x1=2，x2=4，x3=9，则 x = 5。当 x = 5 确定后，x1，x2和x3有两个数据可以自由取值，另一个则不能自由取值，比如x1=6，x2=7，那么x3则必然取2，而不能取其他值 2. 为什么样本方差的自由度为什么是n-1呢？因为在计算离差平方和时，必须先求出样本均值x ，而x则是附加给离差平方和的一个约束，因此，计算离差平方和时只有n-1个独立的观测值，而不是n个。 3. 样本方差用自由度去除，其原因可从多方面解释，从实际应用角度看，在抽样估计中，当用样本方差s2去估计总体方差σ2时，它是σ2的无偏估计量

7 假设n个样本，k个解释变量：TSS，ESS，RSS的自由度分别是多少？

8

9 OLS估计量的抽样分布 在εi满足高斯假定条件时，通过OLS方法，我们可以得到回归系数的估计量 成为 的拟合值。 注意： 是不是两个常数？

10 计量回归模型中，对于要研究的问题，可以建立方程：
这是总体的方程描述。 应该能够确定。 但事实上我们没有能力获得整体信息，只能通过部分数据模拟整体分布，即抽样。

11 我们是在总体中进行抽样。 每抽取一组样本就会有一组相应的回归系数 ，因此， 一定不是常数，而是随机变量，并且具有一定的概率分布。 小样本下，这些分布是复杂的，但在大样本下由中心极限定理可得它们是近似正态分布。

12 为了能够“模拟”整体，可以利用OLS进行回归。
每进行一次抽样就会得到一组 ，因此 是随机变量。当抽样次数足够多时，我们可以得到：

13 OLS参数的统计特性 我们感兴趣的研究对象的全体为“总体”（population），其中的每个研究对象为“个体”。由于总体包含的个体可能很多，无法进行“普查”，故需要从总体中抽取部分个体，称为“样本”（sample），而样本中包含个体的数目称为“样本容量”（sample size）。抽取样本的过程称为“抽样”。

14 通常希望样本为“随机样本”（random sample），即总体中的每个个体都有相同的概率被抽中，而且被抽中的概率相互独立，即满足“独立同分布”（independently identically distributed，简记i.i.d.）的假定。 由于样本来自总体，必然带有总体的信息。统计学的关键因素是如何使得样本抽样信息最大程度反映出总体信息。因此，统计学是根据样本数据对总体性质进行推断的科学。

15 估计量的优良性准则（重复抽样） 评价一个估计量的好坏, 不能仅仅依据一次试验的结果, 而必须由多次试验结果来衡量 。
这是因为估计量是样本的函数, 是随机变量. 因此， 由不同的观测结果, 就会求得不同的参数估计值。 因此一个好的估计, 应在多次试验中体现出优良性。

16 总体均值的估计 如何估计出总体均值 ？ 方法：能否利用样本均值 为总体均值的估计量。

17 估计量：从总体中随机抽取的样本数据的函数，是一个随机变量。
估计值：基于某一特定的样本数据实际计算得出的估计量的数值，是一个非随机的数。 在众多可能的估计量中如何评价一个估计量比另外一个“更好”？ 由于估计量是随机变量，因而这个问题可以更准确地描述为估计量的抽样分布有哪些优良性质？

18 一般而言，我们喜欢估计量与未知真值至少在某种平均意义下尽可能靠近，换言之，我们喜欢估计量的抽样分布尽可能紧密地集中在未知值周围。由此可得估计量的三个特殊优良特性：无偏性(没有偏差）、相合性（一致性）和有效性。

19 无偏性 假设你利用重复随机样本多次计算估计量的值。自然希望，平均而言你会得到正确答案。于是估计量的一个优良性质是其抽样分布的均值等于uY。如果满足这一点，则我们称这个估计量是无偏的。 即：估计量抽样分布的数学期望等于被 估计的总体参数。

20 无偏性 估计量是随机变量, 对于不同的样本值会得到不同的估计值。我们希望估计值在未知参数真值附近摆动, 而它的期望值等于未知参数的真值。 这就导致无偏性这个标准. 设 是未知参数 的估计量，若 则称 为 的无偏估计 .

21 相合性（一致性） 估计量 的另一个优良性质是当样本容量较大时，由于样本随机变化引起 的值的不确定性很小。更准确地描述是当样本容量增大时， 落入真值uY小区间内的概率接近于1，即 与uY相合。 即：随着样本量的增大，估计量的值越来越接近被估计的总体参数。

22 相合性 (一致性) 若 依概率收敛于θ,即 则称 为 的相合估计 .

23 有效性 设 和 都是参数 的无偏估计量，若有 Var( )< Var( ) 则称 较 有效 . 在统计中常用到最小方差估计。

24 最小方差无偏估计的定义: 设 是取自总体 X 的一个样本, 是未知参数 的一个估计量， 若 满足： (1) , 即 为 的无偏估计； (2) ， 是 的任一无偏估计. 则称 为 的最小方差无偏估计. （也称最佳无偏估计）

25 是否满足上述特性？ 根据样本均值的抽样分布，可以得出： 无偏性 相合性 有效性 可以证明该方差为最小方差 满足无偏性、相合性和有效性

26 我们学习了一元线性回归模型，并且学会利用OLS方法估计出总体系数α、β的统计量 ，但它们是否满足上述良好的统计量的特性？

27 1。线形性（证明略） 分别是Yi的线性函数。亦即存在不全为0的Wi和Ki，有： 意义：参数估计量与被解释变量服从相同名称的分布，与误差项服从相同的分布。同时避免了回归采取其他函数形式。

28 2。无偏性（证明略） 参数估计量 的数学期望等于回归系数真实值 ，即： 意义： 参数估计量是以参数真实值为分布中心的随机变量，反复抽样估计可得真实值。 这是重要的分布性质，是推断分析的基础。

29 3。 最小方差性 （有效性） （证明略） 在所有的计量经济学方法得到的线形无偏估计量中，利用OLS方法估计出的参数 方差最小。 即：假设 是利用其他方法估计出的任意一组线形无偏估计量，则一定有：

30 高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。

31 回归系数的假设检验 在班级规模影响成绩的例子中我们建立了如下方程： 通过回归得到如下结果：

32 testscr= str + ε

33 愤怒的纳税人 学区负责人因为遇到问题所以打电话给你。她告诉你一个愤怒的纳税人来到她的办公室，声称减小班级规模对提高测试成绩没有帮助，所以进一步缩减班级规模只是浪费金钱。即此纳税人断言班级规模对测试成绩没有影响。

34 由于班级规模变动一个单位对测试成绩的影响是Bclasssize，纳税人的主张是：总体回归线是水平的，即总体回归线的斜率等于零。

35 假设检验

36 正常人的平均体温是37oC吗？ 当问起健康的成年人体温是多少时，多数人的回答是37oC，这似乎已经成了一种共识。下面是一个研究人员测量的50个健康成年人的体温数据 37.1 36.9 36.4 36.6 36.2 36.7 37.6 37.3 36.1 36.5 36.3 37.5 37.0 37.2 36.8 As a result of this class, you will be able to ...

37 我们能不能认为健康的成年人体温37oC的提法是错误的？ 下面的内容就将提供一套标准统计程序来检验这样的观点
As a result of this class, you will be able to ...

38 什么是假设检验? (hypothesis test)
1。先对总体的参数(或分布形式)提出某种假设，然后利用样本信息判断假设是否成立的统计方法。 2。逻辑上运用反证法，统计上依据小概率原理 小概率是在一次试验中，一个几乎不可能发生的事件发生的概率 在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设

39 中心思想： 1。我们不能轻易地“拒绝”某个假设事件，除非有极为充分的理由。 2。宁可接受了错误的假设，也不能拒绝正确的假设。

40 原假设 所表达的含义总是指参数没有变化或变量之间没有关系。最初被假设是成立的，之后根据样本数据确定是否有足够的证据拒绝它。
原假设又称“0假设，表示研究者想收集证据予以反对的假设，用H0表示 所表达的含义总是指参数没有变化或变量之间没有关系。最初被假设是成立的，之后根据样本数据确定是否有足够的证据拒绝它。 原假设的形式一般包含符号 ,  或 H0 ：  = 某一数值 H0 ：   某一数值 H0 ：  某一数值

41 备择假设 备择假设也称“研究假设”，研究者想收集证据予以支持的假设，用H1或Ha表示 所表达的含义是总体参数发生了变化或变量之间有某种关系。备择假设通常用于表达研究者自己倾向于支持的看法，然后就是想办法收集证据拒绝原假设，以支持备择假设。 总是有符号 , 或  H0 ：  = 某一数值 H1 ： 某一数值 H0 ：   某一数值 H1 ： <某一数值 H0 ：  某一数值 H1 ： >某一数值

42 双侧检验与单侧检验 备择假设没有特定的方向性，并含有符号“”的假设检验，称为双侧检验或双尾检验(two-tailed test)
备择假设具有特定的方向性，并含有符号“>”或“<”的假设检验，称为单侧检验或单尾检验(one-tailed test) 备择假设的方向为“<”，称为左侧检验 备择假设的方向为“>”，称为右侧检验

43 双侧检验与单侧检验 (假设的形式) 以总体均值的检验为例 假设 双侧检验 单侧检验 左侧检验 右侧检验 原假设 H0 : m =m0
备择假设 H1 : m ≠m0 H1 : m <m0 H1 : m >m0 9

44 例一 解：研究者想收集证据予以证明的假设应该是“生产过程不正常”。建立的原假设和备择假设为
一种零件的生产标准是直径应为10cm，为对生产过程进行控制，质量监测人员定期对一台加工机床检查，确定这台机床生产的零件是否符合标准要求。如果零件的平均直径大于或小于10cm，则表明生产过程不正常，必须进行调整。试陈述用来检验生产过程是否正常的原假设和被择假设。 解：研究者想收集证据予以证明的假设应该是“生产过程不正常”。建立的原假设和备择假设为 H0 ：   10cm H1 ：   10cm

45 例二 某品牌洗涤剂在它的产品说明书中声称：平均净含量不少于500克。从消费者的利益出发，有关研究人员要通过抽检其中的一批产品来验证该产品制造商的说明是否属实。试陈述用于检验的原假设与备择假设。 解：研究者抽检的意图是倾向于证实这种洗涤剂的平均净含量并不符合说明书中的陈述 。建立的原假设和备择假设为 H0 ：   H1 ：  < 500

46 例三 一家研究机构估计，某城市中家庭拥有汽车的比例超过30%。为验证这一估计是否正确，该研究机构随机抽取了一个样本进行检验。试陈述用于检验的原假设与备择假设。 解：研究者想收集证据予以支持的假设是“该城市中家庭拥有汽车的比例超过30%”。建立的原假设和备择假设为 H0 ：   30% H1 ：   30%

47 结论 假设检验利用反证法，即如意图证明备则假设成立，必须有充分的根据拒绝原假设。
原假设和备择假设是一个完备事件组，而且相互对立。在一项假设检验中，原假设和备择假设必有一个成立，而且只有一个成立。 原假设总是包含=, >=, <= ，备则假设总是包含, , 。 假设检验利用反证法，即如意图证明备则假设成立，必须有充分的根据拒绝原假设。

48 假设检验的基本思想 抽样分布 抽样检验得到“小概率事件”。 H0 m = 50 ... 因此我们拒绝假设  = 50
... 如果这是总体的假设均值 m = 50 样本均值 10 H0

49 两类错误与显著性水平 研究者总是希望能做出正确的决策，但由于决策是建立在样本信息的基础之上，而样本又是随机的，因而就有可能犯错误。
原假设和备择假设不能同时成立，决策的结果要么拒绝H0，要么不拒绝H0。决策时总是希望当原假设正确时没有拒绝它，当原假设不正确时拒绝它，但实际上很难保证不犯错误。

50 第Ⅰ类错误(错误)（弃真错误） 2. 第Ⅱ类错误(错误)（取伪错误） 原假设为正确时拒绝原假设 第Ⅰ类错误的概率记为，被称为显著性水平
2. 第Ⅱ类错误(错误)（取伪错误） 原假设为错误时未拒绝原假设 第Ⅱ类错误的概率记为(Beta)

51 两类错误的控制 一般来说，对于一个给定的样本，往往认为第Ι类错误的严重性要远远大于第Ⅱ类错误，因此，一般来说，将犯第Ⅰ类错误的概率定得低些较为合理。 在默认情况下，通常取显著性水平 =0.05 ，如果严格一些，取= 0.01 ，放松一些，取= 0.1。

52 显著性水平 (significant level)
显著性水平表示事先确定的用于拒绝原假设H0时所必须的证据。同时也是能够容忍的犯第Ⅰ类错误的最大概率(上限值)，它表示原假设为真时，拒绝原假设的概率。通常取0.05，也可取0.01或者0.10。

53 例一：研发了某种新产品，准备推出。 原假设：新产品不优于老产品。 备则假设：新产品优于老产品。 第一类错误：新产品本身并不优于老产品而我们认为它比老产品好。 第二类错误：新产品本身优于老产品而我们认为它不如老产品好。

54 结论： 第一类错误：代价是盲目推出新产品，但其不受消费者欢迎，损失了经济效益，同时也损失了企业形象。产品好。 第二类错误：代价是不敢推出新产品，损失了前期投入和该有的利润。 很多时候我们认为：企业形象>部分利润。

55 例二：对于一个嫌疑犯进行审判， 原假设：该犯无罪。 备则假设：该犯有罪。 第一类错误：本身无罪，而判其有罪，其财产、自由、人权受到威胁或者剥夺。 第二类错误：本身有罪，而判其无罪，司法系统白辛苦一番，“便宜了他”。

56 Region of Nonrejection
用统计量决策 (双侧检验 ) 抽样分布 H0 临界值 a/2 拒绝H0 1 -  置信水平 Region of Rejection Region of Nonrejection Rejection region does NOT include critical value.

57 Region of Nonrejection
用统计量决策 (左侧检验 ) 抽样分布 置信水平 Region of Rejection 拒绝H0 Rejection region does NOT include critical value. 1 -  a Region of Nonrejection H0 临界值

58 Region of Nonrejection
用统计量决策 (右侧检验 ) 抽样分布 置信水平 Region of Rejection 拒绝H0 Rejection region does NOT include critical value. 1 -  α Region of Nonrejection H0 临界值

59 假设检验的步骤 计算检验统计量，标准化的检验统计量的公式为： 给定显著性水平，查表得出相应的临界值z或z/2， t或t/2

60 3。作出决策 双侧检验：|统计量| > 临界值，拒绝H0 左侧检验：统计量 < -临界值，拒绝H0

61 传统上，做出决策所依据的是样本统计量，然后查表求临界值，比较统计量，和临界值的大小。
现代检验中人们直接使用由统计量算出的犯第Ⅰ类错误的概率，即所谓的P值。

62 用P 值决策 (P-value) P值告诉我们：如果原假设是正确的话，我们得到目前这个样本数据结论的可能性有多大，如果这个可能性很小，就应该拒绝原假设。 被称为观察到的(或实测的)显著性水平 决策规则：若p值<, 拒绝 H0

63 双侧检验的P 值  / 2 Z 拒绝H0 临界值 计算出的样本统计量 1/2 P 值

64 P值是关于数据的概率 举例说明：比如，要检验全校学生的平均生活费支出是否等于500元，检验的假设为 H0：=500；

65 如果你认为这个概率太小了，就可以拒绝原假设，因为如果原假设正确的话，几乎不可能抓到这样的一个样本，既然抓到了，就表明这样的样本不在少数，所以原假设是不对的。
因此，p值越小，你拒绝原假设的理由就越充分。

66 这里所依据的逻辑是： 如果 H0 是对的，那么衡量差异大小的某个统计量落入区域 W(拒绝域) 是个小概率事件. 如果该统计量的实测值落入W，也就是说， H0 成立下的小概率事件发生了，那么就认为 H0 不可信而否定它. 否则我们就不能否定 H0 (只好接受它).

67 相比传统方法，P值提供了更多的信息，它让我们可以选择任意水平来评估结果是否具有统计上的显著性，从而可根据我们的需要来决定是否要拒绝原假设。P值提供了拒绝原假设的实际的显著性水平。

68 传统的显著性水平，如1%、5%、10%等等，已经被人们普遍接受为“拒绝原假设足够证据”的标准，我们大概可以说：10%代表有“一些证据”不利于原假设；5%代表有“适度证据”不利于原假设；1%代表有“很强证据”不利于原假设 一般在计量经济学中，只要p<=0.05，即可认为落入拒绝域，拒绝原假设。

69 注意一点：假设检验不能证明原假设正确。 假设检验只提供不利于原假设的证据。因此，当拒绝原假设时，表明样本提供的证据证明它是错误的，当没有拒绝原假设时，我们只能说，暂时没有办法证明原假设是错误的，只能接受它。但没法证明它是正确的，因为假设检验的程序没有提供它正确的证据。

70 这与法庭上对被告的定罪类似：先假定被告是无罪的，直到你有足够的证据证明他是有罪的，否则法庭就不能认定被告有罪。当证据不足时，法庭的裁决是“被告无罪”，但这里也没有证明被告就是清白的。

71 再来看看那个愤怒的纳税人，我们如何知道她说的是否正确，如果不正确如何才能反驳她？
我们建立一个假设检验： 如果接受原假设，则纳税人的观点值得尊重，否则纳税人的观点是不正确的。 同样，对常数项α也可以进行假设检验。 最简单的方法是利用t检验，构造一个t统计量。

72 我们需要构造一个t统计量： t=(估计量-假设值)/估计量的标准误差 以B1为例，我们要构造的t统计量是：

73 t检验的步骤 H0： =0， H1：0 （2）以原假设H0构造t统计量，并由样本计算其值 (4) 比较，判断
（1）对总体参数提出假设 H0： =0， H1：0 （2）以原假设H0构造t统计量，并由样本计算其值 （3）给定显著性水平，查t分布表，得临界值t /2(n-2) (4) 比较，判断 若 |t|> t /2(n-k-1)，则拒绝H0 ，接受H1 ； 若 |t| t /2(n-k-1)，则拒绝H1 ，接受H0 ；

74 而 是它的标准误差。

75 t检验结果判断 1. 若 |t|> t /2(n-k-1)，则拒绝H0 ，接受H1 ；
这需要不断的查表，带来了很大麻烦。在大样本理论中，当n很大时，t分布趋近于正态分布，因此，往往将t的查表值锁定为1.96。 2. 更简单的方法是利用p值，p值得临界值为0.05，大于则接受原假设，小于等于拒绝原假设。 利用t检验对以往回归系数的显著性进行重新判定。

76

77 Y= X+ε

78 testscr= str + ε

79 打开数据集wage，建立wage和educ的关系

80 置信区间 统计方法中除了点估计意外，还有区间估计。
假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。 要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间估计。

81 置信区间定义： 设θ是 一个待估参数，给定α>0 若由样本 X1, X2, …, Xn 确定的两个统计量 满足:
则称区间 是 的置信水平（置信度、置信概率）为 的置信区间. 分别称为置信下限和置信上限.

82 一旦有了样本，就把 估计在区间 因此, 对参数 作区间估计，就是要设法找出两个只依赖于样本的界限(构造统计量) (X1,…Xn) 内.
对参数 作区间估计，就是要设法找出两个只依赖于样本的界限(构造统计量) (X1,…Xn) 一旦有了样本，就把 估计在区间 内. 这里有两个要求:

83 1. 要求 以很大的可能被包含在区间 2. 估计的精度要尽可能的高. 如要求区间 内，就是说，概率 要尽可能大. 即要求估计尽量可靠.
1. 要求 以很大的可能被包含在区间 内，就是说，概率 要尽可能大. 即要求估计尽量可靠. 2. 估计的精度要尽可能的高. 如要求区间 长度 尽可能短，或能体现该要求的其它准则. 置信度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.

84 置信度为1-α的置信区间的求法(步骤) 如果存在这样一个区间，称之为置信区间（confidence interval）； 1-称为置信系数（置信度）（confidence coefficient）， 称为显著性水平（level of significance）；置信区间的端点称为置信限（confidence limit）或临界值（critical values）。

85 置信区间的计算方法 在变量的显著性检验中已经知道： 意味着，如果给定置信度（1-），从分布表中查得自由度为(n-k-1)的临界值，那么t值处在(-t/2, t/2)的概率是(1- )。表示为： 即

86 于是得到:(1-)的置信度下, i的置信区间是
当n较大时，一般将查表值固定为1.96。

87 一个例子：调查大学生的收入。假设刚毕业大学生的一个容量为200的随机样本Y，其中Y的均值 为 22. 64美元/时，Y均值的标准误差为1
则刚毕业大学生平均每小时收入的95%的置信区间为： 22. 64士1. 96 × =[20.13, 25.15] 这个例子说明，对于这组样本Y而言，其均值有95%的概率落在[20.13, 25.15]之间。

88

89 对于上例： 这个例子说明，对于这组样本Y而言，其均值有 90%的概率落在[20.54, 24.74]之间。 95%的概率落在[20.13, 25.15]之间。 99%的概率落在[19.34, 25.94]之间。

90 由于置信区间一定程度地给出了样本参数估计值与总体参数真值的“接近”程度，因此置信区间越小越好。
置信区间的缩小，会使得出错概率增大。 同样，如果保证较大的正确的概率，只能扩大置信区间。