概率统计思想方法的 产生与发展
概率的古典定义 概率的极限理论 概率论的公理化 公理化后概率论的发展 数理统计思想方法
十七世纪,正当研究现实世界中的必然现象及其规律的必然数学(如算术,三角、几何、代数、微积分,微分方程、积分方程和函数论等)获得巨大发展的时候,一个研究偶然事件的数学分支也开始出现了,这就是所谓或然数学。 令人费解的是,这样一门重要的数学分支竟然起源于对赌博问题的研究。 早在16世纪中,赌博中的偶然现象引起人们的注意, 意大利数学家卡丹(G. Cardano, 1501~1576)撰写了《论赌博》一书 ,书中计算了掷两颗或三颗骰子时,在一切可能方法中有多少方法得到某总点数。 到16世纪末, 随着航海事业的发展,意大利开始出现海上保险业务,并逐渐把业务扩大到工商业. 于是,研究必然性或偶然性现象的数学工具开始萌芽.
Ka‘erdanuo 卡尔达诺,(又译卡丹、卡当) Girolamo Cardano (1501~1576) 意大利医生、数学家、占星术家。1526年,在帕多瓦大学以优异成绩取得医学学位。以后在米兰、博洛尼亚等地行医,不久便闻名全欧洲。 卡丹很信梦,一天夜里,他梦见了一个身穿白衣的漂亮女人。后来,他果然遇到了一个与他梦中所见完全一样的女人,不免受到极大震动。起初,贫困的卡丹因为不敢向她求爱而深感绝望:
“如果我,一个穷人,娶一个女人,没有嫁妆,只有一大群弟妹需要供养,那我就完蛋了!我甚至连自己也养活不起!如果我试图诱拐她,或勾引她,周围又会有多少双眼睛在监视我!” 但终于,他的爱赢得了婚姻。1531年,他娶了梦中的女人卢西亚·班达里妮为妻。 这段小插曲表明了梦、先兆在卡丹的一生中所起的突出作用,这使他成为一位热心的占星术士 。 他在数学方面也有很高的造诣,1539年出版两本算术书,这是他历年的教学总结。这一年,他向N.塔尔塔利亚求教三次方程的解法,并立下誓言,永不泄密。可是他没有遵守诺言,1545年出版《大术》(Ars Magna)一书,将三次方程解法公诸社会。这激怒了塔尔塔利亚,导致一场争吵,结果不欢而散。
后来三次方程求根公式叫做卡丹公式,而塔尔塔利亚之名反而湮没无闻。 不过《大术》并非完全抄袭之作,其中包含许多卡丹的创造。例如,他最早认真地讨论虚数,给出表示虚数的符号和运算法则,虽然他自己也怀疑这种运算的合法性。他对代数方程论(包括三次方程)的研究也有重要的推进。 卡丹的另一个终生爱好是赌博。他经常沉湎于赌博,他常常能赢许多钱,贴补收入 。他将这一恶习提到科学研究的高度。他为此撰写《论赌博》,提出系统的概率计算,早于帕斯卡和费马一个世纪,这是第一部论及数学概率的重要论文,可惜发表很晚,他死后于1663年出版。
第一节 概率的古典定义 一、帕斯卡和费马的“点问题” 第一节 概率的古典定义 一、帕斯卡和费马的“点问题” 1653年夏天,法国著名数学、物理学家帕斯卡(1623-1662)前往埔埃托镇度假。旅途中,他遇到了骑士梅勒(Möre,1610~1685) 。梅勒是经常出没于赌场的“赌坛老手”。为了消除旅途的寂寞,梅勒吹嘘起“赌博经”,并向帕斯卡提出了一个十分有趣的“分赌注”的问题。 问题是这样的:一次,梅勒与其赌友掷骰子.每人押了32个金币的赌注,并约定,如果梅勒先掷出三个6点,或其赌友先掷出三个4点,便算赢家。
遗憾的是这场赌注不算小的赌博并未能顺利结束。当梅勒已掷出两次6点,其赌友掷出一次4点时,梅勒接到通知,要他马上陪同国王接见外宾。君命难违,但就此收回各自的赌注,又不甘心。他们只好按照已有的成绩分取这64个金币。这下可把他们难住了。赌友说,他要再碰上两次4点,或梅勒要再碰上一次6点就算赢了,所以他有权分得梅勒的一半,即64个金币的1/3。梅勒不同意这样分,他说,即使下次赌友掷出一个4点,他还可得赌金的1/2,即32个金币,再加上下次他还有一半希望得6点,这样又可分得16个金币,故他至少应得64个金币的3/4。谁是谁非,争论不休,其结局也就不得而知了。不过梅勒对于此事却一直耿耿于怀,所以当他一碰到帕斯卡就立即求教。
圆内接六边形的三双对边(所在直线)的交点共线 圆内接六边形的三双对边(所在直线)的交点共线 帕斯卡是一位著名的天才数学家。据说,他在孩提时代就独立证明了“三角形内角和等于180”;1 6岁时发现 “帕斯卡六边形定理”,他以此写成的论文竟使笛卡儿怀疑是其父亲的作品。时值盛年,成果显赫。然而,梅勒的貌似简单的问题,却将他真正难住了。 经过长时间的探索,还是不得要领。于是,在1654年,他不得不写信与他的好友费马讨论。向他提出一个赌博中的问题:“两个赌徒相约赌若干局,谁先赢s局就算胜了,现在有甲赢a(a<s)局,乙赢b(b<s)局,赌博中止。问赌本应怎样分法才合理?” 两人通信商讨了这个问题,并用各自不同的方法解决了这个问题。这被看作是数学史上最早的概率论文献, 这个问题后来也就成为著名的“点问题”。
不失一般性,仅以s = 3, a =2,b = 1为例,说明他们的思想方法。 帕斯卡认为,按条件甲已赢两局,得2点; 乙只赢—局, 得1点。若再掷一次,则甲或者获全胜(应得赌金1=100%);或与乙点数相等(应得赌金1/2)。把这两种情况平均一下,甲应得赌金的 乙应得赌金的
费马则认为,由于甲已得2点,乙已得1点,离赌博结束最多还要掷(s-a) + (s-b) -1 = 2次, 因此结果有四种可能情况: (甲、甲);(甲、乙);(乙、甲);(乙、乙) 在前三种情况下都是甲赢,只有最后一种情况乙获胜。因此,甲有权分得赌金3/4,而乙只能分得赌金1/4。 后来, 帕斯卡在所著《论算术三角形》中给出了这一问题的通解: 令m = s-a , n = s-b,则甲、乙两人应得赌金之比为:
二、惠更斯的“数学期望” 帕斯卡和费马的通信引起了荷兰数学家惠更斯的兴趣,他第一个提出了“数学期望”概念。尽管他的定义仍采取赌博的术语,但具有一般性。他在1657年发表的《论赌博中的推理》一文中提出: 在开局之前,对每一个赌徒来说就都已有了关于结局的一种“期望”。如果共有N种等可能结果,其中n种结果使他获赌金为a,其余结果使他获赌金为b,则他的期望值为
在现代的概率论中,是先定义“概率”概念,然后定义“数学期望”概念。但在历史上则相反,先有“期望”概念。古典概型的概率定义,完全可以从期望概念中导出来。 惠更斯除了以“期望”为基础重新解决以前提出过的许多赌博问题以外,还提出并解决了一些新问题。他已预见到这一新的推理和计算方法,具有强大的生命力。
惠更斯(Huygens,1629~1695)荷兰物理学家、天文学家、数学家、他是介于伽利略与牛顿之间一位重要的物理学先驱。 惠更斯1629年4月14日出生于海牙,父亲是大臣、外交官和诗人,常与科学家往来。惠更斯自幼聪明好学,思想敏捷,多才多艺,13岁时就自制一架车床,并受到当时名人笛卡儿的直接指导,父亲曾亲热地叫他为“我的阿基米德”。 16岁时进莱顿大学攻读法律和数学,两年后转入布雷达大学,1655年获法学博士学位,随即访问巴黎,在那里开始了他重要的科学生涯。1663年访问英国,并成为刚建不久的皇家学会会员。1666年,应路易十四邀请任刚建立的法国科学院院士。惠更斯体弱多病,全身心献给科学事业,终生未婚,1695年7月8日逝于海牙。
三、伯努利的“大数定理” 一般认为,概率论作为一门独立的数学分支,其真正的奠基人应该是雅各布·伯努利,他建立了最简单的概率模型──伯努利概型。 即如果某事件A出现的概率为p,不出现的概率为q =1-p, 则在n次试验中,A出现m次的概率为 他的主要著作《猜度术》可以称为概率论第一本专著,这本书中他利用无穷级数解决某些赌博中的概率问题;他发现掷n个骰子使点数之和为m的所有可能情况的总数为 展开式中的 系数。
他首创差分方程法,彻底解决了所谓“破产问题”──现在通称为“直线上的随机游动问题”。雅各布·伯努利还预见到概率的某些社会应用,但雅各布·伯努利对概率论的主要贡献还在于对“大数定律”的表述和证明。 在伯努利以前,人们对概率概念多半从主观方面来解释,即解释成一种“期望”。由于当时所研究的问题限于古典概型,概率值的确定是依据计算各种等可能性的数目。 伯努利指出,这种方法有很大的局限性,也许只有赌博中可用,在更多的场合,由于根本无法数清所有的可能情况,也无法确定不同情况的可能性彼此间的大小,因此这种方法就不可行。要处理属于更大范围的问题,必须选择另一条道路,那就是“后验地去探知我们所无法先验地确定的东西,也就是从大量相类事例的观察结果中去探知它”,这就使概率从主观的“期望”解释转到了客观的“频率”解释。
伯努利陈述的“大数定律”是: 随着观测数目的不断增加,以致这个概率将最终超过所要求的任意的确定度。 用现代概率论语言来陈述,即以“伯努利定理”著称的极限定理: 若在一系列独立试验中,事件A发生的概率为常数且等于p, 那么 对, 以及充分大的试验次数n,有 其中m为n次试验中事件A发生的次数, 为任意小的正数。
大数定律是对大量经验观测中所呈现的稳定性刻划,尽管这一特征在很早已经被人注意到了。正如伯努利自己所说,用频率确定概念的经验方法并不新奇,但这决不意味伯努利的工作是平凡的。人们固然凭经验容易猜测到事物的本性,然而要把人们对大数定理实质的模糊感知提升到明确陈述的科学定律却并不容易。 为了纪念他的功绩,后人遵照法国数学家泊松(Poisson, 1781~1840)的建议,把大数定律称为“伯努利定理”。 可以毫不夸张地说,正是这一定理,才使得以往陷于零碎琐屑的概率计算,开始具有了一门统一的数学理论的资格。这一定理第一次试图在单一的概率值与众多现象的统计度量之间建立演绎关系,构成了从概率论通向更广泛的应用领域的桥梁。
科学世家伯努利家族 在科学史上,父子科学家、兄弟科学家并不鲜见,然而,在一个家族跨世纪的几代人中,众多父子兄弟都是科学家的较为罕见,其中,瑞士的伯努利家族最为突出。 17~18世纪瑞士伯努利家族,3代人中产生了8位科学家,出类拔萃的至少有3位;而在他们一代又一代的众多子孙中,至少有一半相继成为杰出人物。伯努利家族的后裔有不少于120位被人们系统地追溯过,他们在数学、科学技术、工程乃至法律、管理、文学、艺术等方面享有名望,有的甚至声名显赫。最不可思议的是这个家族中有两代人,他们中的大多数数学家,并非有意选择数学为职业,然而却忘情地沉溺于数学之中,有人调侃他们就像酒鬼碰到了烈酒。
老尼古拉·伯努利(Nicolaus Bernoulli,公元1623~1708年)生于巴塞尔,受过良好教育,曾在当地政府和司法部门任高级职务。 他有3个有成就的儿子。其中长子雅各布(Jacob,公元1654~1705年)和第三个儿子约翰(Johann,公元1667~1748年)成为著名的数学家,第二个儿子小尼古拉(Nicolaus ,公元1662~1716年)在成为彼得堡科学院数学界的一员之前,是伯尔尼的第一个法律学教授。
雅各布·伯努利 (Jacob Bernoulli, 1654~1705 ) 1671年17岁时获艺术硕士学位。这里的艺术指“自由艺术”,包括算术、几何学、天文学、数理音乐和文法、 修辞、雄辩术共7大门类。遵照父亲的愿望,他于1676年22岁时又取得了神学硕士学位。然而,他也违背父亲的意愿,自学了数学和天文学。1676年,他到日内瓦做家庭教师。从1677年起,他开始在那里写内容丰富的《沉思录》。
1678年和1681年,雅各布·伯努利两次外出旅行学习,到过法国、荷兰、英国和德国,接触和交往了许德、玻意耳、胡克、惠更斯等科学家,写有关于彗星理论(1682年)、重力理论(1683年)方面的科技文章。1687年,雅各布在《教师学报》上发表数学论文《用两相互垂直的直线将三角形的面积四等分的方法》,同年成为巴塞尔大学的数学教授,直至1705年8月16日逝世。 1699年,雅各布当选为巴黎科学院外籍院士;1701年被柏林科学协会(后为柏林科学院)接纳为会员。许多数学成果与雅各布的名字相联系。例如悬链线问题(1690年),曲率半径公式(1694年),“伯努利双纽线”(1694年),“伯努利微分方程”(1695年),“等周问题”(1700年)等。 雅各布对数学最重大的贡献是在概率论研究方面。他从1685年起发表关于赌博游戏中输赢次数问题的论文,后来写成巨著《猜度术》,这本书在他死后8年,即1713年才得以出版。
约翰·伯努利(Johann Bernoulli,1667~1748年 ) 约翰于1685年18岁时获巴塞尔大学艺术硕士学位,这点同他的哥哥雅各布 一样。他们的父亲老尼古拉要大儿子雅 各布学法律,要小儿子约翰从事家庭管理事务。但约翰在雅各布的带领下进行反抗,去学习医学和古典文学。约翰于1690年获医学硕士学位,1694年又获得博士学位。但他发现他骨子里的兴趣是数学。他一直向雅各布学习数学,并颇有造诣。1695年,28岁的约翰取得了他的第一个学术职位——荷兰格罗宁根大学数学教授。10年后的1705年,约翰接替去世的雅各布任巴塞尔大学数学教授。同他的哥哥一样,他也当选为巴黎科学院外籍院士和柏林科学协会会员。1712、1724和1725年,他还分别当选为英国皇家学会、意大利波伦亚科学院和彼得堡科学院的外籍院士。
约翰的数学成果比雅各布还要多。例如解决悬链线问题(1691年),提出洛必达法则(1694年)、最速降线(1696年)和测地线问题(1697年),给出求积分的变量替换法(1699年),研究弦振动问题(1727年),出版《积分学教程》(1742年)等。 约翰与他同时代的110位学者有通信联系,进行学术讨论的信件约有2500封,其中许多已成为珍贵的科学史文献,例如同他的哥哥雅各布以及莱布尼茨、惠更斯等人关于悬链线、最速降线(即旋轮线)和等周问题的通信讨论,虽然相互争论不断,特别是约翰和雅各布互相指责过于尖刻,使兄弟之间时常造成不快,但争论无疑会促进科学的发展,最速降线问题就导致了变分法的诞生。 约翰的另一大功绩是培养了一大批出色的数学家,其中包括18世纪最著名的数学家欧拉、瑞士数学家克莱姆、法国数学家洛必达,以及他自己的儿子丹尼尔和侄子尼古拉二世等。
丹尼尔·伯努利 (Daniel Bernoulli,1700~1782年) 丹尼尔受父兄影响,一直很喜欢数学。1724年,他在威尼斯旅途中发表《数学练习》,引起学术界关注,并被邀请到圣彼得堡科学院工作。同年,他还用变量分离法解决了微分方程中的里卡提方程。1725年,25岁的丹尼尔受聘为圣彼得堡的数学教授。1727年,20岁的欧拉(后来人们将他同阿基米德、牛顿、高斯并列为数学史上的“四杰”),到圣彼得堡成为丹尼尔的助手。
然而,丹尼尔认为圣彼得堡那地方的生活比较粗俗,8年后的1733年,他返回巴塞尔,终于在那儿成为解剖学和植物学教授,最后又成为物理学教授。 1734年,丹尼尔荣获巴黎科学院奖金,以后又10次获得该奖金。能与丹尼尔媲美的只有大数学家欧拉。丹尼尔和欧拉保持了近40年的学术通信,在科学史上留下一段佳话。 在伯努利家族中,丹尼尔是涉及科学领域较多的人。他出版了经典著作《流体动力学》(1738年);研究弹性弦的横向振动问题(1741~1743年),提出声音在空气中的传播规律(1762年)。他的论著还涉及天文学(1734年)、地球引力(1728年)、湖汐(1740年)、磁学(1743、1746年),振动理论(1747年)、船体航行的稳定(1753、1757年)和生理学(1721、1728年)等。凡尼尔的博学成为伯努利家族的代表。 丹尼尔于1747年当选为柏林科学院院士,1748年当选巴黎科学院院士,1750年当选英国皇家学会会员。他一生获得过多项荣誉称号。
四、蒲丰的“投针问题” 蒲丰(Buffon, 1707~1788) 法国数学家、自然科学家。1707年9月7日生于蒙巴尔,1788年4月16日卒于巴黎。蒲丰10岁时在第戎耶稣会学院读书,16岁主修法学,21岁到昂热转修数学,并开始研究自然科学,特别是植物学。1733年当选为法国科学院院士,1739年任巴黎皇家植物园园长,1753年进入法兰西学院1771年接受法王路易十四的爵封。
蒲丰是几何概率的开创者,他于1777年完成的著作《偶然性的算术试验》,把概率和几何结合起来,开创了几何概率的研究 蒲丰是几何概率的开创者,他于1777年完成的著作《偶然性的算术试验》,把概率和几何结合起来,开创了几何概率的研究. 其中最著名的问题是“投针问题”: 有一天,蒲丰突发奇想,请许多宾朋来到家里,做了一个奇特的试验。他把事先画好了一条条有等矩离平行线的白纸铺在桌面上,然后拿出一包质量均匀而长度为平行线间矩离一半的小针,请客人把针一根根随意扔到纸上,蒲丰则在一旁记数. 结果共投2212次,其中与任一平行线相交的有704次。蒲丰又做了个简单除法2212/704=3.142,他向大家宣布:这就是圆周率π的近似值。 他还说,投的次数越多,就越精确。 这就是最早的几何概率问题。这个试验使众人震惊,π竟然和一个表面上看来风马牛不相及的随意投针连在一起。 然而这确有理论根据,后来人们很快知道,从蒲丰给出的几 何概率很容易得出 (其中n为投掷数,v为相交数)。
1850年,瑞士数学家沃尔夫在苏黎士,用一根长36mm的针,平行线间距为45mm,投掷5000次,得π≈3.1596; 1864年,英国人福克投掷了1100次,求得π≈3.1419; 1901年,意大利人拉泽里尼投掷了3408次,得到了准确到6位小数的π值。 蒲丰于1740年翻译了牛顿的《流数法》,并探讨了牛顿和莱布尼茨发现微积分的历史。 蒲丰还以研究自然博物史著称,他集多年研究成果编成巨著《自然史》(44卷,蒲丰生前出版了36卷,后8卷由他的学生完成)他是第一个对地质史划分时期的科学家,他还首次提出太阳与慧星碰撞产生行星的理论。
五、贝叶斯公式 英国数学家贝叶斯(Bayes,1702~1761)提出过一系列针对特殊性质的逆概率问题的公式,其中一个最著名的就是现在以他的名字命名的公式“贝叶斯公式”: 贝叶斯把 称为“先验概率”,它往往是根据以往的经验确定的一种“主观概率”; 把 称为“后验概率”,即在某一事件B发生之后再来判断事件Ai发生的概率。
因此,这一公式主要应用于由“结果B”的发生来探求导致这一结果的诸“原因Ai”发生的可能性大小。 可惜他的证明建立在一个不恰当的假设上。
贝叶斯( Bayes 1702-1761 ) 英国数学家。1702年出生于伦敦,1761年4月7日逝世。1742年成为英国皇家学会会员。后来成为了一名长老会牧师。和他的同事们不同,他认为:上帝的存在可以通过方程式证明。 贝叶斯在数学方面主要研究概率论。 他首先将归纳推理法用于概率论基础理论,并创立了贝叶斯统计理论,对于统计决策函数、统计推断、统计的估算等做出了贡献。 他对于现代概率论和数理统计都有很重要的主要贡献是使用了“逆概率”这个概念,并把它作为一种普遍的推理方法提出来。
1763年发表在伦敦皇家学会哲学学报上的那一篇提出著名的贝叶斯公式的论文《论有关机遇问题的求解》却是在他死后的第三年才被发表。 200多年后,经过多年的发展与完善,贝叶斯公式以及由此发展起来的一整套理论与方法,已经成为概率统计中的一个冠以“贝叶斯”名字的学派,他的这一理论照亮了今天的计算领域,成了21世纪计算机软件的理论基础,尤其是在数据管理软件领域。 例如,微软公司的Windows XP操作系统,其智能纠错系统就是建立在贝叶斯定理的基础上的;搜索巨人Google使用贝叶斯定理为数据搜索提供近似的结果;迄今为止应用贝叶斯定理最成功的公司则当属位于剑桥的英国自动(Autonomy)软件公司,应用贝叶斯定理开发出一种大规模“无序型数据”检索、归类、整理系统软件。
所谓“无序型”数据,是指那些不适合进入井然有序的数据库的具有无数万亿字节的报告、电子邮件、发言、新闻稿、网页等等。 贝叶斯理论已经成为垃圾邮件过滤系统的基础,自动软件公司的软件能够帮助人类对这些纷繁错杂、浩如烟海的无序型信息进行准确的检索、归类、储存以及分析等工作,并为有特殊需要的用户提供相关参考资料。 仅仅在四年的时间内,自动软件公司就获得了巨大的成功,其客户名单包括英国广播公司、通用汽车公司,以及美国国防部等,目前该公司市值高达50亿美元。 研究人员还使用贝叶斯模型来判断症状和疾病之间的相互关系,创建个人机器人,开发能够根据数据和经验来决定行动的人工智能设备。
六、拉普拉斯的“古典定义” 1812年,拉普拉普发表第一部近代古典概率论专著《概率的分析理论》,该书虽出版在19世纪初,但所总结的成果完全是属于18世纪的。这部先驱性巨著总结了他和他的前辈40年的研究成果,他在该书中明确表述了概率论的基本概念,如“事件”、“概率”、“随机变量”、“数学期望”等。 他给出的概率古典定义是: 事件A的概率p等于一次试验中有利于事件A的可能的结果数与该试验中所有可能的结果数之比。 即 其中m为事件A包含的样本点个数,n为样本空间中样本点总数。
拉普拉斯在该书中还导入了拉普拉斯变换,给出了棣莫弗─拉普拉斯定理,建立了观测误差理论和最小二乘法,研究了广泛的统计问题等等。 总之,这部著作最重要的特色,表现在它建立在对于数学分析方法的应用上。此前,概率论基本上被当作“组合”数学的一部分,拉普拉斯实行了方法论上的革命,使之变成分析数学的一部分。无穷小分析方法运用于几何,运用于数论,都曾经带来了实质性的进展。 拉普拉斯又把它系统而协调地运用于概率论,这就开启了现代概率论的先河。
拉普拉斯(Laplace, 1749—1827) 法国数学家、天文学家、物理学家。1749年3月23日生于博蒙昂诺日;1827年3月5日卒于巴黎。 拉普拉斯家境贫寒,靠邻居的周济才得到读书的机会。16岁时进入开恩大学,并在学习期间写了一篇关于有限差分的论文。在完成学业之后,他带着介绍信从乡下到巴黎去求见大名鼎鼎的达朗贝尔,荐书投去,杳无音讯,因为达朗贝尔对于只带着大人物的推荐信的年轻人不感兴趣。拉普拉斯并不气馁,随即写了一篇阐述力学一般原理的论文,求教于达朗贝尔。
由于这篇论文异常出色,达朗贝尔为其才华所感,欣然回了一封热情洋溢的信。信中写道“拉普拉斯先生,你看,我几乎没有注意你那些推荐信,你不需要什么推荐,你已经更好地介绍了自己。对我来说这就够了,你应该得到支持。”达朗贝尔还很高兴的当了他的教父,并介绍他去巴黎陆军学校任教授。拉普拉斯事业上辉煌时期便从此开始。 1773年被选为法国科学院副院士;1783年任军事考试委员,并于1785年主持对一个16岁的惟一考生进行考试,这个考生就是后来成为皇帝的拿破仑(Nopoleon);1785年当选为法国科学院正式院士;自1795年以后,他先后任巴黎综合工科学校和高等师范学校教授;1816年被选为法兰西学院院士,一年后任该院主席。 他还被拿破仑任命为内政部长,元老议员并加封伯爵.拿破仑下台后,路易十八(LouisⅩⅧ)重登王位,拉普拉斯又被晋升为侯爵。
拉普拉斯才华横溢,著作如林,在青年时代就发表了一系列的论著。24岁当选为法国科学院副院士,科学院在一份报告中曾这样评价他:还没有任何一位像拉普拉斯这样年轻的科学家能在如此众多如此困难的课题上,写出如此大量的论文。 拉普拉斯的研究领域是多方面的,有天体力学、概率论、微分方程、复变函数、势函数理论、代数、测地学、毛细现象理论等,并有卓越的创见。他是一位分析学的大师,把分析学应用到力学,特别是天体力学,获得了划时代的结果。他的代表作有:《宇宙体系论》、《分析概率论》、《天体力学》。 《分析概率论》(1812年)汇集了40年以来概率论方面的进展以及拉普拉斯自己在这方面的发现,对概率论的基本理论作了系统的整理。他在该书的引言中写道:“归根到底,概率论只不过是把常识化成计算而已。”
这本书包含了几何概率、伯努利定理和最小二乘法原理等。著名的拉普拉斯变换就是在此书中述及的。1814年他还出版了《概率的哲学探讨》。他被公认为是概率论的奠基人之一。 拉普拉斯在政治上是一个机会主义者。在法国大革命时期,他随波逐流,反复不断地扮演了共和派与保皇派的双重角色,他机灵到能够使敌对的双方在不论哪一方上台掌权时,都相信他是自己的一个忠诚的支持者。因此每次改宗后他都能获得更好的差使和更大的头衔。为此有人把他比做英国文学作品中的假圣人布雷牧师。 拉普拉斯的另一个缺点是在他的著作中,他常常完全不提前人和同时代人的论述与功绩,给人的印象是其著作中的思想似乎完全出自于他本人。他的这些品格遭到了后人的非议。
第二节 概率的极限理论 19世纪概率论朝着建立完整的理论体系和更广泛地应用方向发展。从1812年拉普拉斯的《概率的分析理论》开始,由对古典概率论研究转向近代概率论。 这一时期,法国数学家泊松(Poisson, 1781~1840)推广了大数定律,引入著名的“泊松分布”及“泊松逼近定理”。 俄国的切比雪夫(Чебышев, 1821~1894)系统总结出计算“数学期望”和“离差”(即方差)的方法,并证明了“概率论中心极限定理”。
一、泊松及泊松分布 泊松是法国数学家、物理学家、法国科学院院士。泊松年轻时曾遵从父亲的意愿学习医学,但他对医学毫无兴趣。他曾用刺血针拨离白菜的经络, 熟练后,第一次治疗疱疹,几个小时后,病人便去世了。此后,泊松放弃医学,转而学习数学,并因成绩优异,成了拉格朗日和拉普拉斯的高才生, 25岁便被聘为教授。 1912年,31岁的泊松当选为法国科学院院士,他一生成果累累,写出以应用数学为主的论文约400篇。特别是在概率论研究方面做出了卓越贡献,被认为是近代概率论的奠基人之一。 泊松有句名言: 生命之所以美好,仅由于两件事:发现数学和讲授数学。
泊松分布就是他建立的用于描述随机现象的一种重要概率分布,它可以描述社会中、试验中常常发生的稀有现象。例如,电话总机在某一段时间内收到的呼叫次数,一年内发生五级以上地震的次数,某商场某种贵重品的销售量等。甚至有人把泊松分布比喻为构造随机现象的“基本粒子”。它具体描述为随机变量ξ的概率分布:
泊松分布是泊松于1837年给出的,它本身是一种非常重要的分布。但有趣的是,在历史上它却是作为二项分布的近似来引用的。为了进一步描述与二项分布的逼近程度,泊松给出了著名的“泊松逼近定理”: 设在n重伯努利试验中,事件A在一次试验中出现的概 率为 ,它与试验次数n有关。若 ,则当 时
棣莫弗是法国加尔文派教徒,在新旧教派斗争中被监禁。 二、棣莫弗─拉普拉斯定理 棣莫弗(De Moivre, Abraham,1667—1754) 棣莫弗出生于法国的一个乡村医生之家,最先在当地一所天主教堂学校念书,随后他离开农村到色拉的一所清教徒学校求学,这所学校戒律森严,要求学生宣誓效忠教会,棣莫弗拒绝服从,于是受到严厉制裁,被罚背诵各种教义,但棣莫弗却偷偷地学习数学,他最感兴趣的是惠更斯的《论赌博中的机会》一书,启发了他的数学灵感,后来他又研读了欧几里得的《几何原本》。 棣莫弗是法国加尔文派教徒,在新旧教派斗争中被监禁。
1685年移居英国,曾任家庭教师和保险事业顾问等职,并潜心科学研究,当他读了牛顿的《自然哲学的数学原理》深深地被这部著作吸引了,1695年写出颇有见地的有关流数术学的论文,并成为牛顿的好友。 两年后当选为皇家学会会员,1735年、1754年又分别被接纳为柏林科学院和巴黎科学院院士。 由于棣莫弗是从欧洲大陆到英国的侨民,而且又懂微积分,所以曾被派参加专门调解牛顿与莱布尼茨之间关于微积分发明权之争的委员会。 棣莫弗是与伯努利几乎同时对概率论作出重要贡献的另一位数学家, 他在概率论方面的主要著作是《随机理论》。这本书包含对大量游戏问题的系统研究。棣莫弗设计出各种新的方法解各种类型的点问题、骰子问题、换球问题。他采取与通常相反的程序,从概率原理去推出排列组合中的许多公式。他明确提出了统计独立性和条件概率的概念,他还特别为概率论发明了一套普遍的记号系统。
棣莫弗在概率论方面的成就,受到了他同时代的科学家的关注和赞誉。 例如哈雷将棣莫弗的《随机理论》呈送牛顿,牛顿阅读后倍加赞赏。据说,后来遇到学生向牛顿请教概率方面的问题时,牛顿就说:“这样的问题应该去找棣莫弗,他对这些问题的研究比我深得多。” 棣莫弗一生贫寒,终身未婚,终年87岁。 关于他的死有一个颇具数学色彩的神奇传说: 在临终前若干天,棣莫弗发现,他每天需要比前一天多睡1/4小时,那么各天睡眠时间将构成一个等差级数,当此等差级数达到24小时时,棣莫弗就长眠不醒了。
棣莫弗在伯努利大数定律所开创的方向上迈进了一大 步,伯努利研究了随机变量频率 与概率p的偏差的概率的极限, 建立了,对 但是,对很大的n和指定的 ,要问 这一事 件发生的概率是多大? 伯努利大数定律是无能为力的,而棣 莫弗则给出了 的渐近分布的更精确表达式, 并就概率 的特例,发现了这个极限分布即正态分布。
后来拉普拉斯将此结果推广到一般情况,人们称此结果为“棣莫弗一拉普拉斯定理”。即 在n重伯努利试验中,事件A在每次试验中出现的概率为p, 而事件A总共出现的次数为 ,则对任意有限区间[a,b],满足 (1) 当 及 时,一致地有
(2)当 时, 一致地有 P 其中 定理中的第(1)个结论称为局部极限定理,它给出了P(μn =k) 当n→∞时的渐近表达式; 第(2)个结论称为积分极限定理,它给出了 的渐近分布。
积分极限定理告诉人们一个重要事实: 标准化随机变量的极限分布是标准正态分布N(0,1) 。 这个定理在以后的两个世纪中占据着概率论研究的中心地位,所以人们又称之为“中心极限定理”。 “中心极限定理” 这个术语是匈牙利数学家波利亚(Polya)在1920的论文中首次引入的。
三、林德贝格─勒维“中心极限定理” 棣莫弗一拉普拉斯“中心极限定理”仅限于伯努利试验的情况,加之棣莫弗在1733对此定理只给出一个很特殊情况下的证明,而拉普拉斯虽然给出了一般性证明,但他的证明是不完善的。 于是,许多数学家试图做两个方面的工作:一方面给拉普拉斯陈述的一般性定理找到正确的证明,另一方面想削弱定理的条件,使能在更广的范围内运用。对于前者,第一个给出完善证明的是俄国数学家李雅普诺夫(Liapounoff,1857~1918)在1901年给出的,他使用了今天称作特征函数的解析工具。 1919年,法国数学家勒维(Levi,1874~1928)应邀在法国高等工艺学校讲授高斯正态分布律及误差理论,他发现包括棣莫弗一拉普拉斯定理在内的概率论缺乏理论基础,便致力于这方面的研究。
勒维于1925年发表了概率论发展中的重要著作《概率计算》,尽管在基础方面还不尽如人意,但他是用数学的严密方法将概率理论作为一个整体描述进行的首次尝试, 其间包括了随机变量及其概率分布和特征函数理论的系统论述,也讨论了中心极限定理的证明和稳定的概率分布。 对于后者,林德贝格(Lindeberg)于1922年采用著名的“林德贝格条件”,在比李雅普诺夫更一般的条件下给出了中心极限定理的完善证明。 所谓“林德贝格条件”是指独立随机变量序列服从中心极限定理即独立随机变量的和收敛于正态分布的充分条件。 这样,被林德贝格和勒维完善并推广的棣莫弗一拉普拉斯定理,人们称为“林德贝格─勒维定理”。
林德贝格─勒维定理: 若 是相互独立且服从相同分布的随机变 量, ( 1, 2, ,n),则标准 化的随机变量之和 的分布函数 , 对任意x满足
由于棣莫弗─拉普拉斯积分极限定理只是林德贝格─勒维定理的特例,因而一般把后者直接称为“中心极限定理”。 ◆中心极限定理的第一个主要功绩,是确立了正态分布在各种分布中的首要地位。 定理的条件只要求 是独立同分布的随机变量序列,因而无论 服从什么样的分布, 都以正态分布为极限。 ◆中心极限定理的第二个功绩,是揭示了正态分布的形成机制。 如果某一个量的变化受到许多种随机因素的影响,这种影响的总后果是各个因素的迭加,而且这些因素中没有任何一个是起主导作用的,那么,这个量就是一个服从正态分布的随机变量,至少它近似地服从正态分布。
这种机制在经济问题中是常见的。在我们对经济问题进行定量分析时,往往假定在主要因素的影响之外,其它各种因素的影响可以用一个服从正态分布的随机变量来表示,其根据即在于此。 ◆中心极限定理的第三个功绩,它是数理统计中大样本处理方法必不可少的理论基础。 一个简单随机抽样所得样本 就是一个独立同分布的随机变量序列。因此,在实际问题中,如果能够获得容量较大的样本,即如果n足够大,就可以把独立同分布的随机变量之和当作一个服从正态分布的随机变量来处理。这种做法的根据也是中心极限定理。
第三节 概率论的公理化 一、概率悖论 ◆ 彼得堡悖论 第三节 概率论的公理化 一、概率悖论 ◆ 彼得堡悖论 该悖论是丹尼尔·伯努利的表兄尼古拉·伯努利于1713年提出来的。1713年9月9日,尼古拉·伯努利在写给法国数学家蒙特姆(M. de Montmort)的信中提出了5个问题,其中第5个问题是这样的: 彼得先付给保尔一笔赌注,然后彼得掷一枚硬币,如果第一次掷硬币头面朝上,保尔答应给彼得一盾(荷兰盾);如果第一次掷的结果是背面朝上,则掷第二次;如果第二次掷硬币头面朝上,保尔付彼得2个盾;如果第二次掷的结果是背面朝上,则掷第三次…,到第n次,如结果是头面朝上,保尔付彼得 个盾。这个博局可以无限期地玩下去。
现在要问:彼得先付给保尔的赌注应为多少才算公正呢? 尼古拉·伯努利之所以提出这个问题,是由于他发现数学界对这个赌局的期望收益的计算与实际生活中发现的该博局的门票价之间存在着悖论。他发现,如果计算彼得的期望收入,则
这显然是不可能的。这说明什么呢?说明每局开始无论彼得先付给保尔多少钱,对彼得来说这赌局都合算! 按这个估算,彼得应该付无穷大来买这个机会。但是,在实际生活中,任何一个理智正常的人若出卖这个机会,其卖价不会超过20盾,因为当时瑞士类似的赌局的门票不超过20盾。 如何解释这个悖论? 数学家蒙特姆对此并没有回答,但将尼古拉·伯努利的信连同上述问题公开出版了。从而引起了数学界后来者的兴趣。 这个悖论吸引了许多与尼古拉同时代人,如丹尼尔、蒲丰、克莱姆(Cramer)等人都研究过它,但都未能得到满意的解法。比较令人满意的解决方案是泊松给出的,那已是19世纪的事了。
◆ 贝特朗悖论 最著名的悖论是1899年由法国的贝特朗(Bertrand)提出的所谓“贝特朗悖论”: 在半径为r的圆内随机选择弦,计算弦长超过圆内接正三角形边长的概率。 根据“随机选择”的不同意义,可以得到不同的答案:
(1) 如图Ⅰ,考虑与某确定方向平行的弦,则弦心距小于r/2的弦长大于圆内接正三角形边长,大于圆内接正三角形边长的弦的中点的轨迹的长度为r,是直径的一半,所求概率为1/2; (2) 如图Ⅱ,考虑从圆上某固定点P引出的弦,则所求概率为1/3;
(3) 如图Ⅲ,随机的意义理解为:弦的中点落在圆的某个部分的概率与该部分的面积成正比,因为长度大于圆内接正三角形边长的弦的中点落在半径为r/2的同心圆内,因此所 求概率为
贝特朗悖论说明概率的概念是以某种确定的实验为前提的,这种实验有时由问题本身所明确规定,有时则不然。 因此,悖论把矛头直指概率概念本身,特别是对拉普拉斯古典概率定义进行猛烈批评。甚至连庞加莱(Poincaré)和波莱尔(Borel,1871~1956)这样的大数学家对概率论的理论基础也多有不满。 奥地利数学家米塞斯(Misses,1883~1953)1919年撰文说:“今天,概率论还不是一门真正的数学学科。” 英国经济学家凯雷斯(Keynes)1921在评论古典概率时说: “对科学家来说,它有一点占星术和炼金术的味道。” 这样,到20世纪初,无论是概率论的实际应用还是其自身发展,都强烈地要求对概率论的逻辑基础作出更加严格的考察。
二、概率论的公理化 自然科学的发展,要求不能再不加鉴别地应用古典概率定义,不能总是假定出现的事件是有限的与等可能的。 1905年,测度论的奠基人法国数学家波莱尔就指出,概率论理论如果采用测度论术语来表述将会方便许多,并首先将测度论方法引入概率论重要问题的研究。特别是1909年他提出强大数定律的条件问题。波莱尔的工作激起了数学家们沿这一崭新方向的一系列探索。 1926年,原苏联数学家柯尔莫哥洛夫(Koлмоrоров,1903~1987)推导了弱大数定律成立的充分必要条件,后又对波莱尔提出的强大数定律问题给出了最一般的结果。大数定律是概率论的中心课题之一,它的解决标志着测度论与可测函数论在概率论研究中的有力渗透。这些可视为关于概率理论公理化研究的先驱性工作。
概率理论新纪元的开始,以1933年苏联数学家柯尔莫哥洛夫的划时代著作《概率论的基本概念》出版为标志。 在《概率论的基本概念》这本书中,柯尔莫哥洛夫提出了概率论的公理化结构,明确了概率的定义和概率论的基本概念。他把这些概念与现代集合论、测度论和泛函分析联系起来,开创了测度论的概率论。 柯尔莫哥洛夫提出了6条公理,整个概率论大厦可以从这6条公理出发建筑起来。柯尔莫哥洛夫的公理体系逐渐获得了数学家们的普遍承认。 由于公理化,概率论成为一门严格的演绎科学,取得了与其他数学分支同等的地位,并通过集合论与其他数学分支密切地联系着。
自1933年之后,概率论成为一门严谨的现代数学分支,它的思想渗入各个学科,成了近代科学发展的明显特征之一。 20世纪30年代被称作“概率论的英雄时代”,以柯尔莫哥洛夫、辛钦(Я.Хинчин,1894~1959)、勒维、杜布(L.Doob)、费勒(Felle r)等现代概率论奠基者为核心的苏联学派、法国学派和美国学派从此成为世界概率论的研究中心。
安德雷·柯尔莫哥洛夫(Андре́й Никола́евич Колмого́ров, 1903-1987) 柯尔莫哥洛夫,1903年4月25日生于俄国坦波夫;1987年10月20日卒于苏联莫斯科. 柯尔莫哥洛夫生后十天母亲就去世,他由姨妈薇拉(Вира)与娜捷日达(Надежда)抚育,两个姨妈努力引导他对书本和自然的兴趣,开拓他的好奇心,带他去田野、森林,给他讲花草树木的知识、星星与宇宙演化的故事、安徒生的童话…….
在五六岁时就领受到数学“发现”的乐趣,观察到 柯尔莫哥洛夫是20世纪最杰出的数学家之一,是俄国十月革命以后成长起来的数学家中的卓越代表。在鲁金之后,柯尔莫哥洛夫成为莫斯科数学学派中占突出地位的领头人物。概率论无疑是他科学生涯中最重要的成就。
柯尔莫哥洛夫的贡献却远不止于此,他还涉及函数论与调和分析、拓扑学、动力系统、微分方程、泛函分析、射影几何、流体力学、自动控制、信息论、数理统计及数理逻辑等。他关于这些领域的论文大都短小精悍,带有开创或奠基性质。 柯尔莫哥洛夫对数学史和数学哲学也表现出浓厚的兴趣并发表过许多脍炙人口的论述。作为出色的教育家,他培养的青年数学家仅成为原苏联科学院院土或通信院土的就有6位。柯尔莫哥洛夫还亲自给中学生讲课,并领导组织了全苏数学奥林匹克竞赛。柯尔莫哥洛夫是英、美、法等12个国家科学院的名誉院土,并多次获得国际大奖。但他本人很少关心名誉、头衔和金钱,1965年,他把得到的国际巴桑奖金全数捐赠给学校图书馆;1980年他荣获沃尔夫奖,却没有前去领取奖金。
第四节 公理化后概率论的发展 一、中心极限定理的推广 20世纪30年代的学者,都力图为“中心极限定理”找到充分必要条件。 第四节 公理化后概率论的发展 一、中心极限定理的推广 20世纪30年代的学者,都力图为“中心极限定理”找到充分必要条件。 1935年,美国数学家费勒证明了林德贝格条件对于任何给定的 是收敛于正态分布的充分必要条件 其中 为有限标准差。
除了正态分布律以外,还有些什么分布律可以作为独立随机变量和的极限律呢? 1937年, 辛钦的结果表明,极限律远不限于正态律,但极限律的共同性质是无穷可分的,也就是对于任何自然数n, 依 分布的随机变量总是n个具有同一分布律 的独立随机变量之和。至此,概率论中的古典极限定理问题获得了令人满意的解决。 20世纪40年代以来,独立随机变量之和的极限定理为主导的极限理论成为现代概率论的重要研究方向之一。原苏联在此领域中居于领先地位。
二、随机过程研究 随机过程是现代概率论最重要的分支,它产生于随时间变化的偶然性的数学模型。 例如,某地第n年的降水量X n由于受许多随机因素的影响,它本身具有随机性,因此X n ,n=1,2,…,便是一个随机过程。类似地,森林中动物的头数,百货公司每天的顾客人数,液体中受分子碰撞而作布朗运动的粒子的位置等等,都随时间而变化形成随机过程。严格地说,现实中的大多数过程都具有程度不同的随机性。 数学定义如下: 设( Ω, F, P)为概率空间,T为指标t的集合(通常视t为时间),如果对于每个 ,有定义在Ω上的随机变量X(t)与之对应,就称随机变量族X =X( t), 为一随机过程(简称为过程)。
20世纪初,一些特殊的随机过程早已引起人们注意。 例如,1907年,马尔可夫研究过一列有特定相依性的随机变量,后人称之为马尔可夫链;1923年维纳给出了布朗运动的数学定义,这种过程至今仍是重要的研究对象。 人们在实际中常遇到具有下述特性的随机过程:在已知它目前的状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去)。这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。 荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用 分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么 就是马尔可夫过程。
液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过程来近似。 随机过程的一般理论的研究通常认为始于20世纪30年代。 30年代初,柯尔莫哥洛夫发表的《概率论的解析方法》和辛钦发表的《平稳过程的相关理论》为马尔可夫过程和平稳过程奠定了理论基础。1951年伊藤清(Kiyosi Ito,1915~ )建立了关于布朗运动的随机微分方程的理论,为马尔可夫过程的研究开辟了新的道路。 1953年J.L.杜布的名著《随机过程论》问世,系统而又全面地叙述了随机过程的基本理论。 60年代,法国学派基于马尔可夫过程和位势理论中的一些思想与结果,在相当大的程度上发展了随机过程的一般理论。
随机过程的研究方法是多样的,主要可分为两大类: ◆概率方法,其中用到轨道性质、停时、随机微分方程等。 ◆分析方法,工具是测度论、微分方程、半群理论、函数论、希尔伯特空间等。 但许多重要结果往往是两种方法并用的。 研究主要课题有: 多指标过程、流形上的随机过程与随机微分方程、无穷质点马尔可夫过程、概率与位势、各种特殊过程的专题讨论等等。
三、鞅论 从20世纪50年代开始,随机过程理论进一步抽象化,杜布创立了鞅论。 设y,x1,x2,…是随机变量,又设yn是已知x1,…,xn时y的期望值,则yn是随机变量,并为x1,…,xn的函数,且序列y1,y2,…是鞅。 这就是说,如果人们知道得越来越多,那么一个随机变量的期望值定义一随机变量序列,这序列就是鞅。
鞅是具有如下性质的随机过程: 若t1<…tn是参数值,则当给定x(t1),…,x(tn-1)时,x(tn)的期望值等于x(tn-1)。这也就是说,当给定了现在和过去的值时,将来的期望值等于现在的值。 在赌博中,鞅可以解释为一个赌徒在参加一列公平的赌博之后的财富。 假设这个赌博的规则是扔一枚普通硬币,如果正面朝上,你就赢1块钱,反之你就输一块钱。如果我们用X(t)来表示在扔了t次硬币以后你的总财富,那么X(t)就是一个鞅。因为无论前面t次赌博中硬币朝上或朝下的次数有多少,以后每一次扔掷朝上和朝下的概率都是均等的;也就是说无论从X(0)到X(t)到底是怎么变化的(无论你是一口气连赢t元钱,还是一口气连输t元钱,抑或是先输掉t/2元钱,再赢回t/2元钱,还是其他的结果),以后每一次扔掷对你的财富的影响的数学期望都是: 。因此 X(t)是一个鞅
1972年,斯尔维斯特(Silverstein)从鞅论观点出发,借助布朗运动,首次发现函数属于 空间只需要通过它的实部的某种极大函数属于 空间便能刻划出来。从此,鞅论中的 理论作为函数论、泛函分析与概率论互相结合的产物迅速发展起来。
四、随机分析 随着随机过程一般理论与鞅论的发展,在随机过程理论研究中出现了一个广泛的新领域——随机分析。 这方面的许多重要成果是法国、日本的学者得到的,法国学者麦叶尔、日本学者伊藤清及其同事们的工作尤为出色。 在随机微分方程研究方面,1974年,苏联数学家皮普契尔(Лилиер)、西里亚耶夫(Ширяев)系统地论述了由微分方程给出的过程的滤波的近代发展。 1983年,马利雅文(Malliavin)引进算子L来刻划密度函数,并将随机变分学最先应用于亚椭圆研究。
20世纪末,概率论发展的主要特点是它与物理学,特别是统计物理学和数学其它分支之间的相互渗透。 《美国数学研究评审小组报告》中指出的: “利用吉布斯态概念将抽象概率引进统计力学和材料力学,将动态系统理论和遍历性理论应用于湍流的研究,这是新近数学进入物理学的两个重要例子。这些现象表明,抽象数学和应用数学正在相互接近,两者之间的相互作用正在产生着丰硕的成果。”
第五节 数理统计思想方法 一、英国的数理统计思想方法 英国是数理统计思想方法的发源地和研究中心。 第五节 数理统计思想方法 一、英国的数理统计思想方法 英国是数理统计思想方法的发源地和研究中心。 1662年,葛朗特(Graunt)使用调查员调查伦敦市死亡人数是历史上最早出现的统计推断。帕蒂(Petty)、苏斯米赫(Sussmich)等沿袭葛朗特的方法,形成了流派。 他们注意到大量观察结果的规律性,强调它的统计意义。 生物学家嘎尔顿(Galton )在遗传研究中为了弄清父子两辈特征值的相关关系,揭示了统计方法在生物学研究中的应用。他引进回归直线、相关系数的概念,创始了回归分析。
继后,英国的皮尔逊(Pearson,1857~1936)进一步发展了回归与相关理论,成功地创建了生物统计学,并给出了“总体”的概念。 1891年,他和英国的动物学家达尔文发现他们在区分物种时用的有“好”和“比较好”说法,于是皮尔逊潜心研究数据的分布理论,在《机遇的法则》中提出“概率”和“相关”的概念,接着又提出标准方差、正态曲线、平均变差、均方根误差等一系列数理统计基本术语。 皮尔逊还致力于大样本理论的研究,1900年,他给出的 一检验法是假设检验最早、最典型的方法,他在理论分布完全给定的情况下,求出了检验统计量的极限分布。 1901年,他创办的《生物统计学》杂志,使数理统计有了自己的阵地,这是20世纪初数学的重大收获之一。 1908年,皮尔逊的学生戈赛特(Gosset)发现了 Z的精确分布,开创了“精确样本理论”。
遗传学家和统计学家费歇尔(Fisher,1890~1962),是把数理统计作为一门数学学科来研究的奠基者。费歇尔给出了许多现代统计学的基础概念,思想方法十分直观,他造就了一个学派,在纯粹数学和应用数学方面都建树卓越。 费歇尔开创的试验设计法,凭借随机化的手段成功地把概率模型带进了实验领域,并建立了方差分析法来分析这种模型。 费歇尔还引进了解消假设(原假设或零假设)和显著性检验的概念,成为假设检验理论的先驱。 费歇尔提出极大似然法,此方法不需要假定有关先验概率的信息,因而具有重大意义。它克服了贝叶斯定理进行推断时需要假定这种信息存在的致命弱点。费歇尔为这种估计理论在20世纪50年代以后全面展开和深入发展打下了基础。
但费歇尔的数理统计思想方法也存在着许多不足。 例如,他提出了直观的检验程序的方法而却未提出判断这些程序优劣的标准。 给出判断检验程序好坏标准的是著名英籍波兰统计学家奈曼(Neyman)和英国统计学家皮尔逊。他们在从1928年开始的一系列重要工作中,发展了假设检验的数学理论,提出了似然比检验。 1937年,奈曼创立了系统的置信区间估计理论。 他从1934年开始的一系列工作,把区间估计理论置于柯尔莫哥洛夫概率论公理体系的基础之上,因而奠定了严格的理论基础. 而且,他还把求区间估计的问题表达为一种数学上的最优解问题。这个理论与奈曼一皮尔逊假设检验理论,对于数埋统计形成一门严格的数学分支,起了重大作用。
二、美国的“序贯分析”理论 以费歇尔为中心人物的英国成为数理统计研究的中心时,美国的数理统计研究在第二次世界大战中得到快速发展。 在二战期间美国有三个统计研究组,对投弹问题进行了九项研究,其中最有成效的哥伦比亚大学研究小组在理论和实践上都有重大建树。最为著名的是“序贯分析”,它被称作“三十年来最有威力”的统计思想。 “序贯分析”系统理论的创始人是著名统计学家瓦尔德,他是 1938年被美国设法从奥地利的德国法西斯集中营里营救出来的罗马尼亚数学家,1938年移居美国后从研究纯粹数学转向统计学。由于实弹实验的质量控制与验收抽样中节省观测的需要,瓦尔德于1943年系统发展了序贯分析法。
在经典统计中,数据只对最后结论有影响,而数据是预先确定的。序贯分析则不然,数据在这里既用来决定何时停止观测,也用来考虑对结论有何影响。瓦尔德在统计方法中增加的停止规则的数学描述,是序贯分析的概念基础,并已证明是现代概率论与数理统计学中最富于成果的概念之一。 瓦尔德还于1949年创立“统计判决函数”理论. 他第一次用集合给出了判决函数空间的明确定义; 他定义了统计推断程序的风险函数,并作为推断程序好坏的准则;他还利用先验概率和有关的贝叶斯程序,证明了完备类定理。瓦尔德还将统计理论与对策论相结合,并将极大极小原理引入统计学。 瓦尔德从事统计领域的工作虽只有12年(1950年因飞机失事逝世),但他的贡献却是如此丰富多产。 他创立的序贯分析与决策函数理论,开创了数理统计学的新生。虽然他的决策函数方法并未受到费歇尔的支持,但仍赢得了较广泛的赞誉,特别是序贯分析法在战后获得巨大发展。
世界著名的数理统计学家、美国国家科学院院士凯佛尔(Kiefer,1924~1981)是瓦尔德统计决策论的积极倡导者。 1968年,凯佛尔与贝赫霍夫尔和索伯尔合作出版著作《序贯识别和秩评定过程》,这是凯佛尔研究领域引伸和扩大达到的最高潮。 凯佛尔的卓越贡献,使他成为国际数理统计方面的权威和最优实验设计的重要开创人。 至今,序贯分析仍是数理统计中最占优势的领域之一。
A.瓦尔德 (1902~1950) 美国著名统计学家,1902年10月生于罗马尼亚的克卢日,1950年12月因飞机失事遇难。1927年入维也纳大学学习数学,1931年获博士学位后在经济学领域作研究工作。1938年到美国,在哥伦比亚大学做统计推断理论方面的工作。1944年任教授,1946年被任命为新建立的数理统计系的执行官员。 瓦尔德在统计学中的贡献是多方面的,最重要的有:1939年开始发展的统计决策理论。他提出了一般的判决问题,引进了损失函数、风险函数、极大极小原则和最不利先验分布等概念。
这方面的成果系统总结反映在他的专著《统计决策函数论》(1950)中,另一成果是序贯分析,他在第二次世界大战期间首次提出了著名的序贯概率比检验法(SPRT),并研究了这种检验法的各种特性,如计算两类错误概率及平均样本量。他和J.沃尔弗维茨SPRT的最优性(1948)被认为是理论统计领域中最深刻的结果之一。 他的专著《序贯分析》(1947)奠定了序贯分析的基础。他的重要论文被收集在《瓦尔德概率统计论文集》(1955)中。
三、多元分析理论的建立 多元分析理论开始于1915年费歇尔发现正态总体样本相关系数的分布。此后的20多年间,费歇尔及中国学者许宝禄等的重要工作,奠定了这个有重要实用价值的分支基础理论。许宝禄对奠定和推进在当代多元分析中普遍采用的矩阵论工具这门学科起了重要作用。他从 1938年到1945年所发表的成果处于多元分析理论发展的前沿。 他发展了用于多元分析的某些矩阵变换的雅可比计算技巧。 许宝禄居世界先进水平的学术成就,受到国内外学者的推崇。1979年,美国《数理统计年鉴》专门组织撰文高度评价他的工作。 如果说费歇尔、皮尔逊、戈赛特等并非数学出身的英国学派在第二次世界大战前对统计的工作突出的表现了“实用性”意义的话,那么以许宝禄、瓦尔德、奈曼等为代表的工作则促进了统计学的“数学化”过程,完成了数理统计这门纯数学分支的最后定型,并对战后统计的发展有极其重大的影响。
许宝禄(1910--1970),数学家,统计学家。浙江杭州人。 1933年毕业于清华大学数学系。1938年、1940年,先后获英国大学哲学博士学位、理学博士学位。回国后,曾任西南联合大学、北京大学教授。建国后,历任北京大学教授、中国科学院数学物理学化学部委员。是第四届全国政协委员。较早从事概率论和数理统计的研究。尤其擅长于多元统计分析、统计推断及概率极限定理方面的研究。有《许宝禄文集》、《许宝禄全集》(英文)。
20世纪末,数理统计的发展主要有以下特点: (1) 更注重对原始数据规律的探索。 它不像经典统计那样注重总体模型的假设,而是强调探讨数据的结构。在这种思想指导下,出现了“刀切法”、“自助法”、“投影寻踪法”、“统计图法”、“统计诊断”等数据处理方法, 这类数据分析研究的最大特点是与计算机相结合。 (2) 改变了过去着重线性统计模型研究的状况。更注意非线性统计,特别是非线性回归的研究。 (3) 出现了介于参数模型与非参数模型之间的半参数模型。
(4) 生物统计中出现了生存分析新方向,统计与经济结合产生了计量经济。 (5) 统计质量控制已从波动式的质量控制走向积极的控制。 综上所述,数理统计学在以往几十年有了长足进展,但理论上的突破却不多见。令人瞩目的是它的应用呈现出极其壮观的局面,尤其在质量管理、计量经济学、计量心理学、保险数学方面起着日益重要的作用。数理统计学已渗透于工业统计、农业统计、水文统计、统计医学、统计力学、统计物理学、统计化学、统计教育学、统计体育学、统计心理学等许多领域。