简单回归模型 过原点回归 简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧 度量单位和函数形式 OLS估计量的期望值和方差 计量经济学导论 刘愿

简单回归模型 计量经济学导论：刘愿

简单回归模型的定义 在简单线性回归模型y = b0 + b1x + u中, 我们一般称y为： Dependent Variable（因变量） Left-Hand Side Variable Explained Variable（被解释变量） Regressand（回归子） 计量经济学导论 刘愿

在简单线性回归模型y = b0 + b1x + u中, 我们一般称x为 Independent Variable（自变量） Right-Hand Side Variable Explanatory Variable（解释变量） Regressor（回归元） Covariate（协变量） Control Variables（控制变量） 计量经济学导论 刘愿

简单回归的术语 y x 因变量 自变量 被解释变量 解释变量 响应变量 控制变量 被预测变量 预测变量 回归子 回归元 计量经济学导论 刘愿

A Simple Assumption（一个简单假设） 变量u称为 error term（误差项） 或者 disturbance（扰动项） 代表除了x之外影响y的其它因素。计量研究关注的是x而非u对y的影响，但u与x的关系至关重要。 如果u中的其他因素保持不变，则u的变动为零，x对y存在线性效应，可得2.2，其中b1为斜率参数。 总体中u的均值为零，意味着： E(u) = 0 既然我们可以用b0 将E(u)标准化为零， E(u) = 0 并非一个限制性条件。 计量经济学导论 刘愿

零条件均值假定 u和x的相关性假定至关重要。 相关关系只度量了u和x之间的线性关系，u和x不相关，但却可能与x的函数比如x2相关。一种更好的方法是，对给定x时u的期望做出假定： u的平均值与x值无关，即 E(u|x) = E(u) = 0 E(y|x) = b0 + b1x ——population regression function（总体回归函数） 计量经济学导论 刘愿

E(y|x) 是x的一个线性函数，对任何给定的x值， y的分布都以 E(y|x)为中心。 计量经济学导论 刘愿

2.2普通最小二乘法的推导 回归的基本思想是利用样本估计总体参数 令 {(xi,yi): i=1, …,n} 表示从总体中抽取的一个容量为n的随机样本。 对于样本中的每一个观测，我们都可以写作 yi = b0 + b1xi + ui 计量经济学导论 刘愿

. . . . 总体回归线、样本数据点集和相关的误差项 { y E(y|x) = b0 + b1x y4 u4 { y3 u3 y2 u2 } . y2 u2 { u1 . y1 } x1 x2 x3 x4 x 计量经济学导论 刘愿

OLS估计值的推导 E(u|x) = E(u) = 0 意味着x和u之间的协方差也为零，即 Cov(x,u) = E(xu) = 0 因为：Cov(X,Y) = E(XY) – E(X)E(Y) 计量经济学导论 刘愿

OLS推导续 既然u = y – b0 – b1x我们可以将上述两个限制条件改写为由 x, y, b0 and b1 表达的式子 E(y – b0 – b1x) = 0 E[x(y – b0 – b1x)] = 0 这被称为矩条件。 计量经济学导论 刘愿

运用矩法推导OLS 运用矩法进行估计意味着将总体的矩条件应用于样本矩条件. 计量经济学导论 刘愿

OLS推导续 给定样本均值的定义和求和的性质，条件一可改写为： 计量经济学导论 刘愿

See page 623 in Chinese Edition. 计量经济学导论 刘愿

计量经济学导论 刘愿

OLS估计的斜率参数 x 和 y之间的样本协方差 x的样本方差 计量经济学导论 刘愿

OLS斜率估计值的相关总结 斜率估计值等于x和y之间的样本协方差除以x的样本方差。 斜率估计值的符号取决于x和y的正负相关性：x和y正相关，斜率估计值为正；x和y负相关，斜率估计值为负。 得到斜率估计值的必要条件是，x在样本中是有变异的。 计量经济学导论 刘愿

计量经济学导论 刘愿

OLS通过样本点来拟合曲线，使得残差平方和尽可能小，故称为“最小二乘”法。 残差û是误差项u的估计值, 等于实际观察值与拟合值（样本回归函数）之差。 计量经济学导论 刘愿

拟合值和残差 . y4 y1 y2 y3 x1 x2 x3 x4 } { û1 û2 û3 û4 x y 计量经济学导论 刘愿

推导的另一思路 根据拟合曲线的直观思想，我们可以通过建立最小化问题，即我们选择可使残差平方和最小化的参数： 计量经济学导论 刘愿

推导的另一思路（续） 利用微积分优化，我们可得到OLS估计值的一阶条件： 计量经济学导论 刘愿

例子 2.3 CEO 薪酬和股本回报率 计量经济学导论 刘愿

计量经济学导论 刘愿

2.3 OLS的操作技巧 拟合值和残差 计量经济学导论 刘愿

计量经济学导论 刘愿

OLS的代数性质 OLS残差之和等于零。 OLS残差的样本均值为零。 x与û 的样本协方差为零。 OLS回归线总是通过样本均值： 计量经济学导论 刘愿

计量经济学导论 刘愿

相关术语 计量经济学导论 刘愿

证明: SST = SSE + SSR 计量经济学导论 刘愿

拟合优度 计算总平方和被模型解释的比例，有助于了解样本回归线对样本数据的拟合是否良好? R2 = SSE/SST = 1 – SSR/SST 计量经济学导论 刘愿

计量经济学导论 刘愿

Units of Measurement and Functional Form 计量经济学导论 刘愿

Units of Measurement and Functional Form (cont) The goodness-of-fit of the model should not depend on the units of measurement of our variables. 计量经济学导论 刘愿

Incorporating Nonlinearities in Sample Regression 计量经济学导论 刘愿

Example 2.11 CEO Salary and Firm Sales 计量经济学导论 刘愿

计量经济学导论 刘愿

Units of Measurement and Functional Form (cont) 计量经济学导论 刘愿

OLS估计的期望值和方差 OLS的无偏性 OLS估计的方差 估计误差项的方差 计量经济学导论 刘愿

Unbiasedness of OLS: four assumptions Assumption SLR.1: the population model is linear in parameters as y = b0 + b1x + u Assumption SLR.2: we can use a random sample of size n, {(xi, yi): i=1, 2, …, n}, from the population model. Thus we can write the sample model yi = b0 + b1xi + ui Assumption SLR.3: E(u|x) = 0 Assumption SLR.4: there is variation in the xi 计量经济学导论 刘愿

Unbiasedness of OLS: Four Assumptions 计量经济学导论 刘愿

计量经济学导论 刘愿

计量经济学导论 刘愿

计量经济学导论 刘愿

OLS无偏性 考虑无偏性，需要用总体参数重写参数估计值： 计量经济学导论 刘愿

OLS无偏性（续） 计量经济学导论 刘愿

OLS无偏性（续） 计量经济学导论 刘愿

OLS无偏性：证明 计量经济学导论 刘愿

计量经济学导论 刘愿

关于无偏性的一个总结 OLS estimates of b1 和 b0 的OLS估计是无偏的，如果 无偏性是对参数估计值的无偏性：给定一个样本，参数估计值与真实的总体参数或远或近。 当u包含了影响y同时又与x相关的因素，简单回归将导致虚假相关（spurious correlation）. 计量经济学导论 刘愿

例子2.12 学生数学成绩和学校免费午餐计划 math10：10分制考试中及格学生的比例 lnchprg : 符合资格享受免费午餐计划的学生的比例 计量经济学导论 刘愿

OLS估计值的方差 参数估计值的样本分布是以真实总体参数为中心的。 了解这个分布的分散程度是很重要的。 增加一个假设条件，更容易了解这个方差的性质： Assumption SLR.5: Var(u|x) = s2 （同方差假设） 计量经济学导论 刘愿

OLS方差（续） Var(u|x) = E(u2|x)-[E(u|x)]2 E(u|x) = 0, so s2 = E(u2|x) = E(u2) = Var(u) s2 是无条件方差，称为误差方差。 s称为误差标准差。 E(y|x)=b0 + b1x ：给定x, y的条件期望是x的线性函数； Var(y|x) = s2 意味着：给定x，y的方差是一个常数。 计量经济学导论 刘愿

计量经济学导论 刘愿

如Var(u|x) 依赖于x, 误差项显示出异质性。 既然Var(u|x)=Var(y|x), 当Var(y|x) 是x的一个函数，误差项存在异质性。 例子：工资方程中异方差性 工资依赖于教育水平。但教育水平越高，工资的变异性越大，反之亦然。 计量经济学导论 刘愿

计量经济学导论 刘愿

OLS方差（续） 计量经济学导论 刘愿

证明: 计量经济学导论 刘愿

关于OLS方差的小结 误差方差s2越大，斜率估计值的方差越大。 xi 的变异性越大，斜率估计值的方差越小。 因此，增加样本容量可以减少斜率参数估计值得方差。 问题是，误差项的方差是未知的。 计量经济学导论 刘愿

The proof can be seen at Li Zinai,2009, p.37. 计量经济学导论 刘愿

估计误差方差 因为无法观测误差项ui，所以我们无法知道误差项方差s2。 我们能够观测的是残差项ûi。 我们可以用残差项来估计误差方差。 计量经济学导论 刘愿

误差方差估计（续） 计量经济学导论 刘愿

用OLS残差代替误差，有偏误但真实，因未考虑OLS残差满足的两个限制条件 无偏估计量，但不真实， 因为我们观察不到ui 用OLS残差代替误差，有偏误但真实，因未考虑OLS残差满足的两个限制条件 计量经济学导论 刘愿

计量经济学导论 刘愿

计量经济学导论 刘愿

误差方差估计（续） 计量经济学导论 刘愿

过原点回归 计量经济学导论 刘愿