工程数学 第22讲 本文件可从网址 http://math.vip.sina.com 上下载 (单击ppt讲义后选择'工程数学'子目录)

§3 一元线性回归

在客观世界中普遍存在着变量之间的关系. 变量之间的关系一般来说可分为确定性的与非确定性的两种 在客观世界中普遍存在着变量之间的关系. 变量之间的关系一般来说可分为确定性的与非确定性的两种. 确定性关系是指变量之间的关系可以用函数关系来表达的. 另一种非确定性的关系即所谓相关关系. 例如人的身高与体重之间存在着关系, 一般来说, 人高一些, 体重要重一些, 但同样高度的人, 体重往往不相同. 人的血压与年龄之间也存在着关系, 但同年龄的人的血压往往不同. 这些变量关系都是非确定性的. 回归分析是研究相关关系的一种数学工具. 能够帮助我们从一个变量取得的值估计另一变量所取的值.

(一)一元线性回归 设随机变量Y与x之间存在着某种相关关系 (一)一元线性回归 设随机变量Y与x之间存在着某种相关关系. 这里, x是可以控制或可以精确观察的变量, 如年龄, 试验时的温度, 施加的压力, 电压与时间等等. 即可以随意指定n个值x1,x2,...,xn. 因此干脆不把x看成随机变量, 而将它当作普通的变量. 若Y的数学期望E(Y)存在, 其值随x的取值而定, 是x的函数, 将此函数记为mY|x 或 m(x), 称为Y关于x的回归函数, 讨论E(Y)=m(x)与x的函数关系.

对x取定一组不完全相同的值x1,x2,. ,xn, 设Y1,Y2,. ,Yn分别是在x1,x2,. ,xn处对Y的独立观察的结果, 称 对x取定一组不完全相同的值x1,x2,...,xn, 设Y1,Y2,...,Yn分别是在x1,x2,...,xn处对Y的独立观察的结果, 称 (x1,Y1),(x2,Y2),...,(xn,Yn) (3.1) 是一个样本, 对应的样本值记为 (x1,y1),(x2,y2),...,(xn,Yn). 现希望知道m(x)的形式, 在一些问题中, 可由专业知识知道, 否则, 可将每对观察值(xi,yi)在直角坐标系中描出它的相应的点, 这种图称为散点图.

例1 为研究某一化学反应过程中, 温度x(°C)对产品得率Y(%)的影响, 测得数据如下. 100 110 120 130 140 150 160 170 180 190 得率Y(%) 45 51 54 61 66 70 74 78 85 89

这里自变量x是普通变量, Y是随机变量. 由散点图大致看出m(x)具有线性函数a+bx的形式. 设Y关于x的回归函数为m(x) 这里自变量x是普通变量, Y是随机变量. 由散点图大致看出m(x)具有线性函数a+bx的形式. 设Y关于x的回归函数为m(x). 利用样本来估计m(x)的问题称为求Y关于x的回归问题. 特别, 若m(x)为线性函数: m(x)=a+bx, 此时估计m(x)的问题称为求一元线性回归问题.

假设对于x(在某个区间内)的每个值有. Y~N(a+bx, s2), 其中a,b及s2都是不依赖于x的未知参数 假设对于x(在某个区间内)的每个值有 Y~N(a+bx, s2), 其中a,b及s2都是不依赖于x的未知参数. 记e=Y-(a+bx), 对Y作这样的正态假设, 相当于假设 Y=a+bx+e, e~N(0,s2), (3.2) 其中未知参数a,b及s2都不依赖于x. (3.2)称为一元线性回归模型, 其中b称为回归系数. 则Y由两部分组成, 一部分是x的线性函数a+bx, 另一部分e~N(0,s2)是随机误差, 是人们不可控制的.

(二)a,b的估计 取x的n个不全相同的值x1,x2,. ,xn作独立试验, 得到样本(x1,Y1),(x2,Y2),. ,(xn,Yn) (二)a,b的估计 取x的n个不全相同的值x1,x2,...,xn作独立试验, 得到样本(x1,Y1),(x2,Y2),...,(xn,Yn). 由(3.2)式 Yi=a+bxi+ei, ei~N(0,s2), 各ei相互独立, (3,3) 于是Yi~N(a+bxi,s2), i=1,2,...,n. 由Y1,Y2,...,Yn的独立性知Y1,Y2,...,Yn的联合密度为

现用最大似然估计法来估计未知参数a,b. 对于任意一组观察值y1,y2,. ,yn, (3. 4)式就是样本的似然函数 现用最大似然估计法来估计未知参数a,b. 对于任意一组观察值y1,y2,...,yn, (3.4)式就是样本的似然函数. 显然, 要L取最大值, 只要(3.4)右端方括弧中的平方和部分为最小, 即只需 取最小值. 令Q关于a,b的偏导数等于零:

得方程组 (3.7)式称为正规方程组.

由于xi不全相同, 正规方程组的系数行列式 故(3.7)有唯一的一组解.

解得b,a的最大似然估计值为

称为Y关于x的经验回归方程, 简称回归方程, 其图形称为回归直线.

今后将视方便而使用(3.9)或(3.10).

为了计算上的方便, 引入下述记号:

这样a,b的估计值可写成

例2(续例1) 设在例1中的随机变量Y符合(3. 2)所述的条件, 求Y关于x的线性回归方程. 解 现在n=10, 所需计算列表如下(表9 xy 100 45 10000 2025 4500 110 51 12100 2601 5610 120 54 14400 2916 6480 130 61 16900 3721 7930 140 66 19600 4356 9240 150 70 22500 4900 10500 160 74 25600 5476 11840 170 78 28900 6084 13260 180 85 32400 7225 15300 190 89 36100 7921 16910  1450 673 218500 47225 101570

于是得到回归直线方程

(三)s2的估计 由(3.2), E{[Y-(a+bx)]2}=E(e2)=D(e)+[E(e)]2=s2 这表示s2愈小, 以回归函数m(x)=a+bx作为Y的近似导致的均方误差就愈小. 这样, 利用回归函数m(x)=a+bx去研究随机变量Y与x的关系就愈有效. 然而s2是未知的, 因而需要利用样本去估计s2.

为了计算Qe, 将Qe作如下分解:

可以证明, 作为统计量的残差平方和Qe服从分布 即知E(Qe/(n-2))=s2. 这样就得到了s2的无偏估计量:

例3(续例2) 求例2中s2的无偏估计. 解 由表9.17, 得

(四)线性假设的显著性检验 在以上的讨论中, 我们假定了关于x的回归m(x)具有形式a+bx, 在处理实际问题时, m(x)是否为x的线性函数, 首先要根据有关专业知识和实践来判断, 其次要根据实际观察得到的数据运用假设检验的方法来判断. 这就是说, 求得的线性回归方程是否具有实用价值, 一般来说, 需要经过假设检验才能确定. 若线性假设(3.2)符合实际, 则b不应为零, 因为若b=0, 则E(Y)=m(x)就不依赖于x了.

因此需要检验假设 H0: b=0, H1: b0. (3.19) 使用t检验法来进行检验. 可以证明: 又由(3.17),(3.18)知

故有

当H0为真时b=0, 此时 此处a为显著性水平.

当假设H0:b=0被拒绝时, 认为回归效果是显著的, 反之, 就认为回归效果不显著 当假设H0:b=0被拒绝时, 认为回归效果是显著的, 反之, 就认为回归效果不显著. 回归效果不显著的原因可能有如下几种: 1,影响Y取值的,除x及随机误差外还要其它不可忽略的因素. 2,E(Y)与x的关系不是线性的,而存在着其它的关系. 3,Y与x不存在关系. 因此需要进一步分析原因, 分别处理.

例4(续例2) 检验例2中的回归效果是否显著, 取a=0. 05. 解 由例2, 例3已知 Sxx=8250, 查表得t0 例4(续例2) 检验例2中的回归效果是否显著, 取a=0.05. 解 由例2, 例3已知 Sxx=8250, 查表得t0.05/2(n-2)=t0.025(8)=2.3060. 由(3.24), 假设H0:b=0的拒绝域为 故拒绝H0:b=0, 认为回归效果是显著的.

(五)系数b的置信区间 当回归效果显著时, 常需要对系数b作区间估计. 可由(3.22)式得到b的置信水平为1-a的置信区间为

(六)回归函数m(x)=a+bx函数值的点估计和置信区间 设x0是自变量x的某一指定值, 由(3.9)

下面求m(x0)=a+bx0的置信区间. 由本章附录3知 又由(3.17)(3.18)知

且由本章附录6知

于是得到m(x0)=a+bx0的置信水平为1-a的置信区间为

(七)Y的观察值的点预测和预测区间 若对指定点x=x0处因变量Y的观察值Y0感兴趣, 然而我们在x=x0处并未进行观察或者暂时无法观察 (七)Y的观察值的点预测和预测区间 若对指定点x=x0处因变量Y的观察值Y0感兴趣, 然而我们在x=x0处并未进行观察或者暂时无法观察. 经验回归函数的一个重要应用是, 可利用它对因变量Y的新观察值Y0进行点预测或区间预测.

若Y0是x=x0处对Y的观测结果, 由(3. 2)知它满足. Y0=a+bx0+e0, e0~N(0,s2). (3 若Y0是x=x0处对Y的观测结果, 由(3.2)知它满足 Y0=a+bx0+e0, e0~N(0,s2). (3.30) 随机误差e0可正也可负, 其值无法预料, 就用x0处的经验回归函数值 作为Y0=a+bx0+e0的点预测. 下面求Y0的预测区间.

因Y0是将要做的一次独立试验的结果, 因此它与已经得到的试验的结果Y1,Y2,...,Yn相互独立.

再由(3.28),(3.31)及 即

于是对于给定的置信水平1-a有 或

称为Y0的置信水平为1-a的预测区间.

这一预测区间的长度是x0的函数, 它随|x0 -`x|的增加而增加. 当x0 =`x时为最短. 将(3. 32)与(3 这一预测区间的长度是x0的函数, 它随|x0 -`x|的增加而增加. 当x0 =`x时为最短. 将(3.32)与(3.29)比较, 知道在相同的置信水平下, 回归函数值m(x0)的置信区间要比Y0的预测区间要短. 这是因为Y0=a+bx+e0比m(x0)=a+bx0多了一项e的缘故.

例5(续例2) (1)求回归函数m(x)在x=125处的值m(125)的置信水平为0 例5(续例2) (1)求回归函数m(x)在x=125处的值m(125)的置信水平为0.95的置信区间, 求在x=125处Y的新观察值Y0的置信水平为0.95的预测区间; (2)求在x=x0处Y的新观察值Y0的置信水平为0.95预测区间. 解 (1) 由例2, 例3已知

得m(125)的0.95置信区间为(57.640.84) 得x0=125处Y0的0.95预测区间为 (57.642.34)

(2) 在x=x0处Y的新观察值Y0的置信水平为0.95的预测区间为

分别将这些区间的下端点和上端点连起来, 得到曲线L1和L2, 回归直线位于L1,L2所围成的带域中心线上.

(八)可化为一元线性回归的例子 在实际中常会遇到更为复杂的回归问题, 但在某些情况下, 可以通过适当的变量变换, 化成一元线性回归来处理 (八)可化为一元线性回归的例子 在实际中常会遇到更为复杂的回归问题, 但在某些情况下, 可以通过适当的变量变换, 化成一元线性回归来处理. 下面介绍几种常见的可转化为一元线性回归的模型. 1, Y=aebxe, lne~N(0,s2), (3.33) 其中a,b,s2是与x无关的未知参数. 将Y=aebxe两边取对数, 得 lnY=lna+bx+lne. 令lnY=Y',lna=a, b=b, x=x', lne=e', (3.33)式变为一元线性回归模型: Y'=a+bx'+e', e'~N(0,s2). (3.34)

2, Y=axbe, lne~N(0,s2),. (3. 35) 其中a,b,s2是与x无关的未知参数 2, Y=axbe, lne~N(0,s2), (3.35) 其中a,b,s2是与x无关的未知参数. 将Y=axbe两边取对数, 得 lnY=lna+blnx+lne. 令lnY=Y', lna=a, b=b, lnx=x', lne=e', (3.35)可转化为一元线性回归模型: Y'=a+bx'+e', e'~N(0,s2). (3.36) 3, Y=a+bh(x)+e, e~N(0,s2). (3.37) 其中a,b,s2是与x无关的未知参数. h(x)是x的已知函数, 令a=a, b=b, h(x)=x', (3.37)可转化为一元线性回归模型: Y=a+bx'+e, e~N(0, s2). (3.38)

若在原模型下, 例如在模型(3. 37)下, 对于(x,Y)有样本(x1,y1),(x2,y2),. ,(xn,yn)就相当于在新模型(3 若在原模型下, 例如在模型(3.37)下, 对于(x,Y)有样本(x1,y1),(x2,y2),...,(xn,yn)就相当于在新模型(3.38)下有样本(x1',y1),(x2',y2),...,(xn',yn). 其中xi'=h(xi), 于是就能利用上节的方法来估计a,b或对b作假设检验, 或对Y进行预测. 在得到Y关于x'的回归方程后, 再将原自变量x代回, 就得到Y关于x的回归方程, 它的图形是一条曲线, 也称为曲线回归方程.

例6 表9. 18是1957年美国旧轿车价格的调查资料, 今以x表示轿车的使用年数, Y表示相应的平均价格, 求Y关于x的回归方程. 表9

解 从散点图看Y与x呈指数关系, 于是采用模型(3. 33), 即Y=aebxe, lne~N(0,s2), 经变量变换后就转化为(3 解 从散点图看Y与x呈指数关系, 于是采用模型(3.33), 即Y=aebxe, lne~N(0,s2), 经变量变换后就转化为(3.34). Y'=a+bx'+e', e'~N(0,s2), 其中lnY=Y',lna=a, b=b, x=x', lne=e', 数据经变换后得到

经计算得 即知线性回归的效果是高度显著的. 代回原变量, 得曲线回归方程:

§4 多元线性回归

在实际问题中, 随机变量Y往往与多个普通变量x1,x2,. ,xp(p>1)有关. 对于自变量x1,x2, 在实际问题中, 随机变量Y往往与多个普通变量x1,x2,...,xp(p>1)有关. 对于自变量x1,x2,...,xp的一组确定的值, Y有它的分布. 若Y的数学期望存在, 则它是x1,x2,...,xp的函数, 记为m(x1,x2,...,xp), 它就是Y关于x的回归函数. 我们感兴趣的是m(x1,x2,...,xp)是x1,x2,...,xp的线性函数的情况, 仅讨论下述多元线性回归模型: Y=b0+b1x1+...+bpxp+e, e~N(0,s2), (4.1) 其中b0,b1,...,bp,s2都是与x1,x2,...,xp无关的未知参数.

设 (x11,x12,. ,x1p,y1),. ,(xn1,xn2,. ,xnp,yn). (4. 2) 是一个样本 达到最小.

求Q分别关于b0,b1,...,bp的偏导数, 并令它们等于零, 得 化简(4.4)式得

(4.5)式称为正规方程组.

为了求解的方便, 将上式写成矩阵形式, 为此, 引入矩阵: (4.5)式可写成 X'XB=X'Y, (4.5)' 这就是正规方程组的矩阵形式.

在(4.5)'式两边左乘X'X的逆阵(X'X)-1(设(X'X)-1存在)得到(4.5)'的解 这就是我们要求的(b0,b1,...,bp)'的最大似然估计.

作为m(x1,x2,...,xp)=b0+b1x1+...+bpxp的估计, 方程

作业 第九章习题 第325页 第6题

请提问