第8章 非线性回归 8.1 可化为线性回归的曲线回归 8.2 多项式回归 8.3 非线性模型 8.4 本章小结与评注.

Slides:



Advertisements
Similar presentations
“ 上海市科研计划课题预算编制 ” 网上教程 上海市科委条财处. 经费预算表 表 1 劳务费预算明细表 表 2 购置设备预算明细表 表 3 试制设备预算明细表 表 4 材料费预算明细表 表 5 测试化验与加工费预算明细表 表 6 现有仪器设备使用费预算明细表 小于等于 20 万的项目,表 2 ~表.
Advertisements

北大附中深圳南山分校 倪 杰 2016年8月25日星期四 2016年8月25日星期四 2016年8月25日星期四 Ox y 1 1 y=a x (a>1)
人的性别遗传 合肥市第四十九中学 丁 艳. 男女成对染色体排序图 1 、男性和女性各 23 对染色体有何异同 ? 哪 一对被称为性染色体 ? 2 、这两幅图中,哪幅 图显示的是男性的染色 体?哪幅图显示的是女 性染色体? 3 、图中哪条染色体是 Y 染色体?它与 X 染色体 在形态上的主要区别是.
大学物理实验 第一讲 南昌大学物理实验中心 2013年2月.
XX啤酒营销及广告策略.
指導老師:邱敏慧老師 姓名:徐鈺琁 班級:114 座號:33
中国旅游研究院武汉分院成果展示 ——2011年武汉市旅游市场调研成果简报 华中师范大学 中国旅游研究院武汉分院 二〇一一年十二月.
社交礼仪.
是网络还是“网落”.
損益表 原則: 收益與費用的計算,實際上是在實現或發生時所產生,與現金收付當時無關。
1、一般地说,在生物的体细胞中, 和 都是成对存在的。
辨性别 A B. 辨性别 A B 第三节人类染色体与性别决定 昌邑市龙池初中 杨伟红 学习目标 1.理解人的染色体组成和传递规律。 2.解释人类性别决定的原理。 3.通过探究活动,解读数据了解生男生女的比例。
这是一个数字的 乐园 这里埋藏着丰富的 宝藏 请跟我一起走进数学的 殿堂.
《中国共产党发展党员工作细则》 学习提纲 中共进贤县委组织部 宋 剑
严格发展程序,提高工作能力 黄 玉 2010年9月.
发展党员的流程和要求 党委组织部 萧炽成.
管理会计 财贸系 会计教研室 王凤锦.
數據挖掘 課程 王海 深圳國泰安教育技術股份有限公司.
Chapter 15 複迴歸.
莫让情感之船过早靠岸 兴庆回中 赵莉.
行政公文写作 第七章 2004年8月 行政公文写作.
论文撰写的一般格式和要求 孟爱梅.
一元一次方程的应用 行程问题.
忠孝國小自立午餐老師的叮嚀 教師指導手冊.
第三章 幼儿园课程内容的编制与选择.
如何撰写教育科研论文 谌 业 锋 四川省凉山州教育科学研究所 欢迎访问 业锋教育在线
104年振聲國中 志願選填個別序位 說明會 104年06月08日 輔導室關心您.
清仓处理 跳楼价 满200返160 5折酬宾.
第三章  电话、电子通讯   本章重难点:     打电话的方法、         接听电话的方法。
初中《思想品德》课程改革 回顾·现状·展望
职业卫生法律体系 与案例分析 佛山市安全监管局 郭 勇.
1.1.2 四 种 命 题.
色 弱 與 色 盲.
《社交礼仪分享》 阳晨牧业科技有限公司 市场中心 二O一二年四月十八日.
会议文书.
高考哲学十种主观题常见题型及分析.
世上孩子都是宝, 男孩女孩都一样。.
宠物之家 我的宠物性别? 雌(♀) or 雄(♂) 第一阶段:我的宠物我做主 第二阶段:宠物“相亲记” 第三阶段:家族诞生
如何写入团申请书.
课标教材下教研工作的 实践与思考 山东临沂市教育科学研究中心 郭允远.
曲 线 回 归 吴库生 汕头大学医学院预防医学教研室.
北师大版七年级数学 5.5 应用一元一次方程 ——“希望工程”义演 枣庄市第三十四中学 曹馨.
海洋存亡 匹夫有责 ——让我们都来做环保小卫士 XX小学三(3)班.
第8章 回归分析 本章教学目标: 了解回归分析在经济与管理中的广泛应用; 掌握回归分析的基本概念、基本原理及其分析应用的基本步骤;
第11周 工作计划.
Chapter 2 簡單迴歸模型.
中西部高校提升综合实力资金规划( 年)项目申请汇报
优化试验设计与数据分析 第五章 回归分析方法 本章主要内容 · 一元线性回归方程度建立、显著性检验、预报和控制。非线性回归方程的线性化。
課程九 迴歸與相關1.
第十一章. 簡單直線迴歸與簡單相關 Simple Linear Regression and Simple Correlation
Chapter 14 Simple Linear Regression
第六章 相关与回归分析 学习目的和要求 学习重点 学习难点 教学方法 授课时数 基本内容.
首届“互联网+” 大学生创新创业大赛.
MyLibrary ——数字图书馆的个性化服务
一元一次方程式的意義 一元一次方程式的解 等量公理與移項法則 自我評量.
Liner regression analysis
一、迴歸分析的基本概念 二、SPSS的線性迴歸分析 三、迴歸模型的檢驗與意義
第九章 結 帳 9-1 了解結帳的意義及功能 9-2 了解虛帳戶結清之會計處理 9-3 了解實帳戶結轉的會計處理
(multiple linear regression)
寶 貝 班 教 學 分 享 (103下) 為了搭配主題,所以除了平日在校園中探索外,我們每周也會帶孩子出去一次,進行社區巡禮,讓孩子探索不同的人事物,欣賞不同的美,每次出門孩子總有新的發現,所以我們從孩子的發現為出發點,來延續課程內容,像是觀察植物的顏色及形狀;認識各種水果…等,除此之外,我們也針對孩子喜愛的車子進行討論,從中除了帶入形狀、顏色外,也能認識各種行業的人喔!
中国大连高级经理学院博士后入站申请汇报 汇报人:XXX.
內部控制作業之訂定與執行 報告人:許嘉琳 日 期:
第 四 章 迴歸分析應注意之事項.
两个变量的线性相关 琼海市嘉积中学 梅小青.
(5) (-5x)(-7x+2) =__________ (6) 7x(5x2+6x-3) = _______________ -27x2
线性回归.
第 1 章 單一預測變數線性迴歸.
南華大學旅遊事業管理學研究所副教授 中正大學會計資訊系兼任副教授 丁誌魰 博士
簡單迴歸分析與相關分析 莊文忠 副教授 世新大學行政管理學系 計量分析一(莊文忠副教授) 2019/8/3.
第二节 偏 导 数 一、 偏导数概念及其计算 二 、高阶偏导数.
Presentation transcript:

第8章 非线性回归 8.1 可化为线性回归的曲线回归 8.2 多项式回归 8.3 非线性模型 8.4 本章小结与评注

§8.1 可化为线性回归的曲线回归 y=β0+β1ex +ε  (8.1) y=β0+β1x′+ε  §8.1 可化为线性回归的曲线回归 可线性化的曲线回归模型, 也称为本质线性回归模型 y=β0+β1ex +ε  (8.1) 只须令x′=ex即可化为y对x′是线性的形式 y=β0+β1x′+ε  需要指出的是,新引进的自变量只能依赖于原始变量,而不能与未知参数有关。

§8.1 可化为线性回归的曲线回归 y=β0+β1x+β2x2+…+βpxp +ε (8.2) §8.1 可化为线性回归的曲线回归 y=β0+β1x+β2x2+…+βpxp +ε (8.2) 令x1=x,x2=x2,…,xp=xp, 于是得到y关于x1,x2,…,xp的线性表达式 y=β0+β1x1+β2x2+…+βpxp+ε  (8.2)式本来只有一个自变量x,是一元p次多项式回归,在线性化后,变为p元线性回归。

§8.1 可化为线性回归的曲线回归 y=aeb xeε (8.3) 可线性化的曲线回归模型, 也称为本质线性回归模型 §8.1 可化为线性回归的曲线回归 可线性化的曲线回归模型, 也称为本质线性回归模型 y=aeb xeε (8.3) 对等式两边同时取自然对数,得: lny=lna+bx+ε 令y′=lny, β0=lna,β1=b, 于是得到y′关于x的一元线性回归模型 y′=β0+β1x+ε

§8.1 可化为线性回归的曲线回归 y= aeb x +ε (8.4) 不可以线性化的曲线回归模型, 也称为本质非线性回归模型 §8.1 可化为线性回归的曲线回归 不可以线性化的曲线回归模型, 也称为本质非线性回归模型 y= aeb x +ε (8.4) 当b未知时,不能通过对等式两边同时取自然对数的方法将回归模型线性化,只能用非线性最小二乘方法求解。 (8.3)式的误差项称为乘性误差项 (8.4)式的误差项称为加性误差项。 一个非线性回归模型是否可以线性化,不仅与回归函数的形式有关,而且与误差项的形式有关。

§8.1 可化为线性回归的曲线回归 y=aeb xeε §8.1 可化为线性回归的曲线回归 在对非线性回归模型线性化时,总是假定误差项的形式就是能够使回归模型线性化的形式,为了方便,常常省去误差项,仅写出回归函数的形式。 例如把回归模型(8.3)式 y=aeb xeε 简写为 y=aeb x

§8.1 可化为线性回归的曲线回归 SPSS软件给出的10种常见的可线性化的曲线回归方程

§8.1 可化为线性回归的曲线回归 除了以上SPSS软件中收入的几种曲线回归外,另外几种其他常用的曲线回归,例如 1. 双曲函数 §8.1 可化为线性回归的曲线回归 除了以上SPSS软件中收入的几种曲线回归外,另外几种其他常用的曲线回归,例如 1. 双曲函数 或等价地表示为

§8.1 可化为线性回归的曲线回归 (a>0, b>0)

§8.1 可化为线性回归的曲线回归 2. S型曲线 此S型曲线当a>0,b>0时,是x的增函数。 §8.1 可化为线性回归的曲线回归 2. S型曲线 此S型曲线当a>0,b>0时,是x的增函数。 当x→+∞时,y→1/a ; x→-∞时,y→0。 y=0与y=1/a是这条曲线的两条渐进线。 S型曲线有多种,其共同特点是曲线首先是缓慢增长,在达到某点后迅速增长,在超过某点后又变为缓慢增长,并且趋于一个稳定值。 S型曲线在社会经济等很多领域都有应用,例如某种产品的销售量与时间的关系,树木、农作物的生长与时间的关系等。

§8.1 可化为线性回归的曲线回归

§8.1 可化为线性回归的曲线回归 SPSS软件中的S型曲线y=exp(b0+b1/t): §8.1 可化为线性回归的曲线回归 SPSS软件中的S型曲线y=exp(b0+b1/t): 当b1<0时是t的增函数,当t从右侧趋于0时,曲线趋于0;当t→+∞时,曲线以y=exp(b0)为渐进线,属于通常意义下的S型曲线。 当b1>0时,曲线在t的正实轴上是t的减函数,不是通常意义下的S型曲线。 SPSS软件中的逻辑函数在0<b1<1时也是S型曲线。

§8.1 可化为线性回归的曲线回归 例8.1对GDP(国内生产总值)的拟合。我们选取GDP指标为因变量,单位为万亿元,拟合GDP关于时间t的趋势曲线。以1981年为基准年,取值为t=1,1998 年t=18,1981年至1998年的数据如表8.1。

§8.1 可化为线性回归的曲线回归 年份 t y ei y′=lny 1981 1 4862.4 4296.35 566.05 8.489 §8.1 可化为线性回归的曲线回归 年份 t y ei y′=lny 1981 1 4862.4 4296.35 566.05 8.489 1982 2 5294.7 5123.04 171.66 8.574 1983 3 5934.5 6108.80 -174.30 8.689 1984 4 7171.0 7284.24 -113.24 8.878 1985 5 8964.4 8685.86 278.54 9.101 1986 6 10202.2 10357.16 -154.96 9.230 1987 7 11962.5 12350.06 -387.56 9.390 1988 8 14928.3 14726.42 201.88 9.611 1989 9 16909.2 17560.04 -650.84 9.736 1990 10 18547.9 20938.89 -2390.99 9.828 1991 11 21617.8 24967.89 -3350.09 9.981 1992 12 26638.1 29772.14 -3134.04 10.190 1993 13 34634.4 35500.81 -866.41 10.453 1994 14 46759.4 42331.77 4427.63 10.753 1995 15 58478.1 50477.13 8000.97 10.976 1996 16 67884.6 60189.80 7694.80 11.126 1997 17 74462.6 71771.35 2691.25 11.218 1998 18 79395.7 85581.38 -6185.68 11.282

§8.1 可化为线性回归的曲线回归 1. 直接用SPSS软件的Curve Estimation命令计算。首先画出GDP对时间的散点图,见图8.2。

§8.1 可化为线性回归的曲线回归

§8.1 可化为线性回归的曲线回归

§8.1 可化为线性回归的曲线回归

§8.1 可化为线性回归的曲线回归 为了与线性回归的拟合效果直接相比,可以先储存复合函数回归的残差序列,然后计算出 §8.1 可化为线性回归的曲线回归 为了与线性回归的拟合效果直接相比,可以先储存复合函数回归的残差序列,然后计算出 复合函数回归的 SSE =262467769=2.625×108, R2=1-262467769/11043353279=0.97623, 拟合效果明显优于线性回归,当然应该采用复合函数回归。

§8.1 可化为线性回归的曲线回归 复合函数回归b0=3603.06,等比系数b1=1.192417,回归方程为 §8.1 可化为线性回归的曲线回归 复合函数回归b0=3603.06,等比系数b1=1.192417,回归方程为 其中b1=1.192417=119.2417%表示GDP的平均发展速度,平均增长速度为19.2417% 。 这里GDP是用的当年现价,在实际工作中可以用不变价格代替现价;对误差项的自相关做相应的处理;考虑到GDP的年增长速度会有减缓趋势,可以对回归函数增加适当的阻尼因子等改进方法。

§8.1 可化为线性回归的曲线回归 2.线性化求解法。 对复合函数y=b0两端取自然对数,得 lny=lnb0+ln(b1) t §8.1 可化为线性回归的曲线回归 2.线性化求解法。 对复合函数y=b0两端取自然对数,得 lny=lnb0+ln(b1) t 令y′=lny, β0=lnb0,β1=ln(b1), 于是得到y′关于t的线性回归方程 y′=β0+β1t 计算出y′=lny的值列在表8.4中,用y′对t做一元线性回归,输出结果为:

§8.1 可化为线性回归的曲线回归

§8.1 可化为线性回归的曲线回归

§8.2 多项式回归 一、几种常见的多项式回归模型 的回归函数yi=β0+β1xi+β11是一条抛物线方程,通常称为二项式回归函数。 §8.2 多项式回归 一、几种常见的多项式回归模型 一元二次多项式模型yi=β0+β1xi+β11+εi 的回归函数yi=β0+β1xi+β11是一条抛物线方程,通常称为二项式回归函数。 回归系数β1为线性效应系数,β11为二次效应系数。 相应地,回归模型 yi=β0+β1xi+β11+β111+εi 称为一元三次多项式模型。

§8.2 多项式回归

§8.2 多项式回归 二、一个应用例子 例8.2 表8.5列出的数据是关于18个35岁~44岁经理的: 前两年平均年收入 x1(千美元) §8.2 多项式回归 二、一个应用例子 例8.2 表8.5列出的数据是关于18个35岁~44岁经理的: 前两年平均年收入 x1(千美元) 风险反感度 x2 人寿保险额 y(千美元) 风险反感度是根据发给每个经理的标准调查表估算得到的;它的数值越大,风险反感就越厉害。

§8.2 多项式回归 研究人员想研究给定年龄组内的经理年平均收入,风险反感度和人寿保险的关系。研究者预计,在经理的收入和人寿保险额之间成立着二次关系,并有把握认为风险反感度对人寿保险额只有线性效应,而没有二次效应。但是,研究者对两个自变量是否对人寿保险额有交互效应,心中没底。因此,研究者拟合了一个二阶多项式回归模型 并打算先检验是否有交互效应,然后检验风险反感的 二次效应。

§8.2 多项式回归 序号 xi1 xi2 yi 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 66.290 40.964 72.996 45.010 57.204 26.852 38.122 35.840 75.796 37.408 54.376 46.186 46.130 30.366 39.060 79.380 52.766 55.916 196 63 252 84 126 49 266 105 98 77 56 245 133

§8.2 多项式回归

§8.2 多项式回归

§8.2 多项式回归

§8.2 多项式回归 表8.6

§8.2 多项式回归 得最终的回归方程为: 括号中的数值是标准化回归系数。 §8.2 多项式回归 得最终的回归方程为: 括号中的数值是标准化回归系数。 这样,研究者就可用这个回归方程来进一步研究经理的年平均收入和风险反感对人寿保险额的效应。从标准化回归系数看到,年平均收入的二次效应对人寿保险额的影响程度最大。

§8.2 多项式回归 EDTA(X1) 无水碳酸钠(X2) 焦亚硫酸钠(X3) §8.2 多项式回归 【例8.3】 维生素C注射液因长期放置会渐变成微黄色,中国药典规定可以用焦亚硫酸钠等作为抗氧剂。本实验考虑3个因素,分别是 EDTA(X1) 无水碳酸钠(X2) 焦亚硫酸钠(X3) 每个因素各取7个水平,选用U7(74)均匀设计表,取其中的第1、2、3列,实验安排与结果见表6.9。

§8.2 多项式回归 表6.9 实验设计与结果

§8.2 多项式回归 首先做线性回归,回归的计算程序参照例6.1,得回归方程 §8.2 多项式回归 首先做线性回归,回归的计算程序参照例6.1,得回归方程 y = 2.63 + 0.77 X1 - 0.0524 X2 - 0.087 X3 回归模型的P值=0.1040; 决定系数(R-square)= 83.9% ; 调整的决定系数(AdjR-sq)= 67.8%。 可见线性回归的效果不够好,以下使用二次多项式回归。

§8.2 多项式回归 使用逐步回归,回归方程的具体形式是: 做变量替换转化为9个自变量的线性回归。

§8.2 多项式回归 表6.10 回归变量表

§8.2 多项式回归 这个线性回归只有7组观测数据却有10个未知参数,需 要使用逐步回归逐个引入变量。 §8.2 多项式回归 这个线性回归只有7组观测数据却有10个未知参数,需 要使用逐步回归逐个引入变量。 在SPSS软件逐步回归模块默认的进入变量P值=0.05, 剔除变量P值=0.10的条件下,逐步回归只进行了一步就结 束了,只选入了自变量x2。为了更全面地了解回归的效果, 可以把进入变量的条件放宽一些。 用Option选项把进入变量P值改为0.30,剔除变量P值 改为0.50,重新做逐步回归。

§8.2 多项式回归 表6.12 逐步回归的输出结果(2)

§8.2 多项式回归 第一个回归模型最先选入的是X2,说明无水碳酸钠的含量是最重要的影响因素; §8.2 多项式回归 此时的逐步回归共进行了5步,依次选入了X2, X22= ,X3,X23=X2 X3,X13= X1 X3共5个变量,共计算出5个回归模型: 第一个回归模型最先选入的是X2,说明无水碳酸钠的含量是最重要的影响因素; 第二个回归模型再选入的是X22= ,进一步说明无水碳酸钠的含量是最重要的影响因素,并且说明y与X2的关系是非线性的 容易求出此方程在X2=48.5≈48时达极小值y=0.197,比第6号实验值y=0.147略高。

§8.2 多项式回归 再看第三个回归方程: 为使y值最小,X3应该最大,取X3=1.4,X2的取值与X3无关,容易求出此方程在X2=45.1≈45,X3=1.4时达极小值y=0.074,低于第6号实验值y=0.147。

§8.2 多项式回归 第四个回归方程是: 在回归方程含有X3的两项-1.115 X3+0.0206 X2X3中,当X2≤54时是X3的减函数,根据对第二和第三两个回归方程的分析,两个方程中X2的最优解分别是48和45,所以有理由认为X2≤54,y是X3的减函数,X3越大y越小,因此取X3=1.4。 把X3=1.4代入以上方程中,解得X2的极小值是X2=43.9≈44,所以第四个回归方程的最优组合是X2=44,X3=1.4,此时最优预测值y=0.080,与第三个回归方程的最优解基本相同。

§8.2 多项式回归 第五个方程是: y= -0.128<0 ,可以视为接近0。 §8.2 多项式回归 第五个方程是: 其中包含了变量X1,并且是作为与X3的交互作用形式出现,说明EDTA对实验指标本身没有影响,只是通过焦亚硫酸钠对实验产生弱的影响。仿照对第四个回归方程求最优解的方法,首先确定X1和X3是y的减函数,分别取最大值X1=0.12和X3=1.4,然后再解得X2=41.2≈41。最优预测值 y= -0.128<0 ,可以视为接近0。

§8.2 多项式回归 比较第三、四、五这3个回归模型,回归方程的决定系数分别是: 97.11、98.73、99.99%, 从回归的效果看第五个回归的效果最好,但是有6个估计参数,而y的数据只有7个,所以估计的误差会较大。 第三、四两个回归模型的实验条件基本相同,预测值也很接近,约为0.080,明显小于第6号实验的吸收度y=0.147,是一组稳定的好条件,见表6.13。

§8.2 多项式回归 表6.13 吸收度的最优实验条件

§8.2 多项式回归 本例的文献[17]对吸收度y值先取了倒数作为实验指标,其数值越大越好,然后建立回归方程。这样做的一个好处是避免了本例回归模型五预测值为负值的情况,但是回归方程的效果不好。文献中得到的最优条件是X1=0.12、X2=38、X3=1.4,和本例第五个模型相差不大。

§8.3 非线性模型 一、非线性最小二乘 非线性回归模型一般可记为: §8.3 非线性模型 一、非线性最小二乘 非线性回归模型一般可记为: yi = f (xi,θ)+εi , i=1,2,…,n (8.9) 其中,yi是因变量, 非随机向量xi=(xi1,xi2,…,xik) ′是自变量, θ=(θ0,θ1,…,θp )′是未知参数向量, εi是随机误差项并且满足独立同分布假定,即

§8.3 非线性模型 对非线性回归模型 我们仍使用最小二乘法估计参数θ, 即求使得

§8.3 非线性模型 称为非线性最小二乘估计的正规方程组

§8.3 非线性模型 在非线性回归中,平方和分解式SST=SSR+SSE 不再成立。类似于线性回归中的复判定系数, §8.3 非线性模型 在非线性回归中,平方和分解式SST=SSR+SSE 不再成立。类似于线性回归中的复判定系数, 定义非线性回归的相关比为: 相关比也称为相关指数。

§8.3 非线性模型 例8.4 一位药物学家使用下面的非线性模型对药物反应拟合回归模型: 二、非线性回归模型的应用 §8.3 非线性模型 二、非线性回归模型的应用 例8.4 一位药物学家使用下面的非线性模型对药物反应拟合回归模型: 自变量x是药剂量,用级别表示; 因变量y是药物反应程度,用百分数表示。 3个参数c0、c1、c2都是非负的,根据专业知识,c0的上限是100%, 3个参数的初始值取为c0=100,c1=5,c2=4.8。测得9个反应数据如下:

§8.3 非线性模型 x 1 2 3 4 5 6 7 8 9 y(%) 0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4 图8.3 药物反应程度散点图

§8.3 非线性模型 在SPSS的Regression菜单下点选Nonlinear,进入非线性回归对话框,将y点入因变量框,在model Expression框中输入回归函数c0-c0/(1+(x/c2)**c1),然后点Parameters进入参数设置框赋给未知参数初值。

Iteration Residual SS C0 C1 C2 §8.3 非线性模型 Iteration Residual SS C0 C1 C2 1 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.60704344 97.7943996 6.57938197 4.74460195 2 32.60704344 97.7943996 6.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334852 6.76307026 4.79941696 4 20.18814307 99.5334852 6.76307026 4.79941696 4.1 20.18803580 99.5411768 6.76104089 4.79966204 5 20.18803580 99.5411768 6.76104089 4.79966204 5.1 20.18803473 99.5404448 6.76127044 4.79964160 6 20.18803473 99.5404448 6.76127044 4.79964160 6.1 20.18803472 99.5405197 6.76124802 4.79964382

§8.3 非线性模型

§8.3 非线性模型

§8.3 非线性模型 序号 x y e 1 0.5 -50.48889 2 2.3 0.27 2.03 -50.21889 3 3.4 3.98 -0.58 -46.50889 4 24 22.48 1.52 -28.00889 5 54.7 56.61 -1.91 6.12111 6 82.1 81.52 0.58 31.03111 7 94.8 92.34 2.46 41.85111 8 96.2 96.49 -0.29 46.00111 9 96.4 98.14 -1.74 47.65111 均值 50.48889 50.20333 0.285556 -0.28556 离差平方和 60 14917.89 15156.55 19.43162 平方和 285 37860.04 37839.85 20.18803 15157.28

§8.3 非线性模型 本例回归离差平方和SSR=15156.55,而总离差平方和SST=14917.89<SSR,可见对非线性回归不再满足平方和分解式,即 SST≠SSR+SSE。 另外,非线性回归的残差和不等于零,本例残差均值为0.285556≠0。当然,如果回归拟合的效果好,残差的均值会接近于零的。

§8.3 非线性模型 通过以上分析可以认为药物反应程度y与药剂量x符合以下非线性回归方程:

§8.3 非线性模型 【例8.4】 龚珀兹(Gompertz)模型是计量经济中的一个常用模型,用来拟合社会经济现象发展趋势,龚珀兹曲线形式为: 其中k为变量的增长上限, 和 是未知参数。 当k未知时,龚珀兹模型不能线性化,可以用非线性最小二乘法求解。表8.12的数据是我国民航国内航线里程数据,以下用龚珀兹模型拟合这个数据。

§8.3 非线性模型 表8.8 我国民航国内航线里程数据 单位:万公里 1980 1993 1981 1994 1982 1995 1983 §8.3 非线性模型 表8.8 我国民航国内航线里程数据 单位:万公里 年份 t y 1980 1 11.41 1993 14 68.21 1981 2 13.55 1994 15 69.37 1982 3 13.28 1995 16 78.08 1983 4 12.92 1996 17 78.02 1984 5 15.28 1997 18 92.06 1985 6 17.12 1998 19 100.14 1986 7 21.67 1999 20 99.89 1987 8 24.02 2000 21 99.45 1988 9 24.55 2001 22 103.67 1989 10 30.55 2002 23 106.32 1990 11 34.04 2003 24 103.42 1991 12 38.17 2004 25 115.52 1992 13 53.36

§8.3 非线性模型 用SPSS软件的非线性最小二乘法功能求解。 §8.3 非线性模型 用SPSS软件的非线性最小二乘法功能求解。 依照Analyze→Regression→Nonlinear的顺序进入非线性回归对话框。 在回归函数框条中输入k*a**(b**t),再给出参数的初值。龚珀兹中的参数k是变量的发展上限,应该取其初值略大于最大观测值。本例最大观测值是115.52,不妨取k的初值为120。a和b都是0到1之间的数,可以取其初值为0.5。经过31步迭代后收敛,部分输出结果如下:

§8.3 非线性模型

§8.3 非线性模型

§8.3 非线性模型 k=150.0,a=0.012 43,b=0.892 7 其中k=150.0为回归模型估计的国内航线里程增长上限。 §8.3 非线性模型 用非线性最小二乘法求得的三个参数估计值为 k=150.0,a=0.012 43,b=0.892 7 其中k=150.0为回归模型估计的国内航线里程增长上限。 图8.4是用Excel绘制的国内航线里程趋势预测图,其中粗实线是观测值,虚细线是预测值。 图8.4 龚珀兹曲线拟合国内航线里程趋势图

§8.3 非线性模型 上面的过程中回归迭代给出了一些警告错误,这是由于回归迭代过程中的参数取值超出了允许范围造成的,可以通过对参数取值范围增加一些限制解决,用非线性回归对话框中的Constraints按钮实现。 另外如果参数的初值给得不够准确回归迭代不收敛时,对参数增加一些限制可能就收敛了。例如本例中把k的初值改为130回归迭代不能收敛,但是增加一个k>116的限制回归迭代就收敛了。

§8.3 非线性模型 龚珀兹模型和几种常见的非线性回归模型可以用三和值法求解,见参考文献[15]第13章。 §8.3 非线性模型 龚珀兹模型和几种常见的非线性回归模型可以用三和值法求解,见参考文献[15]第13章。 在正态误差假定下,非线性回归的最小二乘估计与极大似然估计是相同的,而极大似然估计具有好的大样本性质,例如渐近无偏性、渐近正态性、一致性等。因而非线性最小二乘估计值比三和值更精确,可以把三和值法的参数估计值作为求解非线性最小二乘的初值。

§8.3 非线性模型 【例8.6】 下表8.9是我国从1950——2005年历年大陆总人口数,试用威布尔(Weibull)曲线拟合数据并做预测。威布尔曲线如下: 其中参数k是变量发展的上限,参数a >0, 0< b <1, c>0。

§8.3 非线性模型 表8.9 我国历年大陆总人口数 单位:亿人 年份 t y 1950 1 5.5196 1978 29 9.6259 §8.3 非线性模型 表8.9 我国历年大陆总人口数 单位:亿人 年份 t y 1950 1 5.5196 1978 29 9.6259 1951 2 5.63 1979 30 9.7542 1952 3 5.7482 1980 31 9.8705 1953 4 5.8796 1981 32 10.0072 1975 26 9.242 2003 54 12.9227 1976 27 9.3717 2004 55 12.9988 1977 28 9.4974 2005 56 13.0756

§8.3 非线性模型 对以上初值把t=1时(即1950年)=5.5196代入,得, §8.3 非线性模型 根据人口学的专业预测,我国人口上限为16亿人, 因此取k的初值=16,取b的初值=0.5,取c的初值=1。 对以上初值把t=1时(即1950年)=5.5196代入,得, 用以上初值做非线性最小二乘,得下面的输出结果 8.7。从中看到,人口上限为k=15.76亿人,这与人口学预 测的人口上限16亿人完全一致。图8.5是用Excel绘制的人 口趋势预测图,其中粗实线是观测值,虚细线是预测值。

§8.3 非线性模型

§8.3 非线性模型

§8.3 非线性模型 图8.5 威布尔模型预测我国人口趋势图

§8.3 非线性模型 【例8.6】 柯布—道格拉斯生产函数研究。在计量经济学中有一种熟知的C-D(Cobb—Douglas)生产函数 其中,y为产出,K(资本)、L(劳力)为两个投入要素,A>0为效率系数、a和b为K和L的产出弹性,A、a、b 均为待估参数。

§8.3 非线性模型 a是产出对资本投入的弹性系数,度量在劳动投入保持不变时资本投入增加1%时产出增加的百分比。 §8.3 非线性模型 a是产出对资本投入的弹性系数,度量在劳动投入保持不变时资本投入增加1%时产出增加的百分比。 b是产出对劳动投入的弹性系数,度量在资本投入保持不变时劳动投入增加1%时产出增加的百分比。 两个弹性系数之和 a+b 表示规模报酬(returns to scale)。 a+b =1表示规模报酬不变,即1倍的投入带来1倍的产出; a+b <1表示规模报酬递减,即1倍的投入带来少于1倍的产出; a+b >1表示规模报酬递增,即1倍的投入带来大于1倍的产出。

§8.3 非线性模型

§8.3 非线性 模型 t K L 年份 GDP lnGDP lnK lnL 1978 1 1377.9 40152 8.195361 3624.1 1377.9 40152 8.195361 7.228316 10.60043 1979 2 4038.2 1474.2 41024 8.303554 7.295871 10.62191 1980 3 4517.8 1590.0 42361 8.415780 7.371489 10.65398 1981 4 4862.4 1581.0 43725 8.489287 7.365813 10.68568 1982 5 5294.7 1760.2 45295 8.574462 7.473183 10.72095 1983 6 5934.5 2005.0 46436 8.688538 7.603399 10.74583 1984 7 7171.0 2468.6 48197 8.877800 7.811406 10.78305 1985 8 8964.4 3386.0 49873 9.101016 8.127405 10.81724 1986 9 10202.2 3846.0 51282 9.230359 8.254789 10.84510 1987 10 11962.5 4322.0 52783 9.389532 8.371474 10.87394 1988 11 14928.3 5495.0 54334 9.611014 8.611594 10.90291 1989 12 16909.2 6095.0 55329 9.735613 8.715224 10.92105 1990 13 18547.9 6444.0 64749 9.828112 8.770905 11.07827 1991 14 21617.8 7517.0 65491 9.981272 8.924922 11.08967 1992 15 26638.1 9636.0 66152 10.19010 9.173261 11.09971 1993 16 34634.4 14998.0 66808 10.45260 9.615672 11.10958 1994 17 46759.4 19260.6 67455 10.75277 9.865817 11.11922 1995 18 58478.1 23877.0 68065 10.97641 10.08067 11.12822 1996 19 67884.6 26867.2 68950 11.12556 10.19866 11.14114 1997 20 74462.6 28457.6 69820 11.21805 10.25617 11.15368 1998 21 78345.2 29545.9 70637 11.26888 10.2937 11.16531 1999 22 82067.5 30701.6 71394 11.31530 10.33207 11.17597 2000 23 89468.1 32611.4 72085 11.40164 10.39242 11.18560 2001 24 97314.8 37460.8 73025 11.48571 10.53105 11.19856 2002 25 105172.3 42355.4 73740 11.56336 10.65385 11.20830 §8.3 非线性 模型

§8.3 非线性模型 其中,y是国内生产总值GDP (单位:亿元), K是资金投入,包括固定资产投资和库存占用资 金(单位:亿元), §8.3 非线性模型 其中,y是国内生产总值GDP (单位:亿元), K是资金投入,包括固定资产投资和库存占用资 金(单位:亿元), L是就业总人数(单位:万人)。 (1)假设随机误差项为相乘的,我们可以用两边取对数的办法,按照(8.15)式将模型转化线性形式,对数变换后的数据见表8.14,用SPSS作线性回归得如下结果:

§8.3 非线性模型

§8.3 非线性模型 得两个弹性系数为a=0.902,b =0.361,资金的贡献率大于劳动力的贡献率。 §8.3 非线性模型 得两个弹性系数为a=0.902,b =0.361,资金的贡献率大于劳动力的贡献率。 规模报酬a+b =0.902+0.361=1.263>1表示规模报酬递增。 效率系数A==0.1242。 其中系数b 的显著性概率P值=0.087,显著性较弱。 得乘性误差项的C-D生产函数为:

§8.3 非线性模型 对加性误差项模型,不能通过变量变换数转化成线性模型,只能用非线性最小二乘法求解未知参数。以上面乘性误差项的参数为初值做非线性最小二乘,经过81步迭代得下面的输出结果8.。其中参数β的置信度为95%的置信区间为(-0.555 ,1.565),包含0在内,因而不能认为β非0,显著性较弱。 得乘性误差项的C-D生产函数为:

§8.3 非线性模型

§8.3 非线性模型

****** Ridge Regression with k = 0.20 ****** §8.3 非线性模型 使用线性化的乘性误差项模型,由共线性检验得方差扩大因子VIF=15.5。使用岭回归,选取岭参数k=0.20,这时R2从原来的0.998 14下降为0.980 58,得岭回归如下: ****** Ridge Regression with k = 0.20 ****** B SE(B) Beta B/SE(B) lnK .49700385 .02048319 .51558506 24.26398868 lnL 2.18274631 .11798929 .39309616 18.49952910 Constant -18.43784255 1.27336521 .00000000 -14.47961853

§8.3 非线性模型 其中a=0.4970,b =2.183,A= 表明劳动力的贡献率远大于资金的贡献率,与普通最小二乘的结果完全相反。并且b =2.183也不符合经济意义。 从统计方法看,岭回归的结果是可信的,但是我们对其计算结果却无法给出合理的解释。

§8.3 非线性模型 三、其他形式的非线性回归 非线性最小二乘是使残差平方和 §8.3 非线性模型 三、其他形式的非线性回归 非线性最小二乘是使残差平方和 达极小的方法,其最大的缺点是缺乏稳健性。当数据存在异常值时,参数的估计效果变得很差。因而在一些场合,我们希望用一些更稳健的残差损失函数代替平方损失函数

§8.3 非线性模型 利用SPSS的非线性回归程序,可以用数值计算法求解多种损失函数的回归估计值。以下以例3.2北京经济开发区数据为例,说明用SPSS软件的最小绝对值法求解方法。 绝对值残差损失函数

§8.3 非线性模型 1.进入非线性回归对话框,在因变量框中点入y,在Model Expressions框中输入回归方程表达式b0+b1*x1+b2*x2; 2.给参数赋初值,以普通最小二乘估计值为初始值,初始值为b0=-213.7,b1=2.185,b2=0.368,点Continue返回非线性回归对话框; 3.点选Options选项,进入Options选项框选择数值计算方法,默认的计算方法是Levenberg-Marquardt方法,将其改为Sequential quadratic program方法,点Continue返回非线性回归对话框。用自定义损失函数计算时必须做这个改动; 4.点Loss进入Loss Function对话框给出损失函数,默认的损失函数是Sum of squared residuals,将其改为User-defiend loss function,然后输入ABS(y-b0-b1*x1-b2*x2),点Continue返回非线性回归对话框; 5.点Save保存残差变量和预测值:

§8.3 非线性模型 普通最小二乘经验回归方程为: Iteration Loss funct B0 B1 B2 §8.3 非线性模型 Iteration Loss funct B0 B1 B2 0.1 4511.684440 -213.70000 2.18500000 .368000000 1.1 4393.393596 -213.69997 2.19431077 .403145685 2.1 4362.671030 -213.69984 2.13568898 .431261430 3.1 4354.739136 -213.78915 2.12883998 .429074345 4.1 4352.083704 -213.78515 2.13523424 .427309206 普通最小二乘经验回归方程为:

§8.3 非线性 模型