大 Statistical Thinking 统计分析的第三范式： 数据 & 贝叶斯之 天津财经大学

Presentation on theme: "大 Statistical Thinking 统计分析的第三范式： 数据 & 贝叶斯之 天津财经大学"— Presentation transcript:

1 大 Statistical Thinking 统计分析的第三范式： 数据 & 贝叶斯之 天津财经大学 2014-12-21
Statistics & Actuarial Science 统计分析的第三范式： 大 数据 & Statistical Thinking 贝叶斯之 天津财经大学

2 内容提要 大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！

3 大数据：定义辨析 （大忽悠？） 大数据（巨量资料（IT行业术语））
大数据：定义辨析 （大忽悠？） 大数据（巨量资料（IT行业术语）） [1] 大数据技术(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 [2] 大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。 [3] 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、value（价值）

4 大数据：最形象的定义

5 大数据：最容易理解的定义 明道副总裁  许维 只要1000个字文科生也能理解大数据

6 1000字从这里开始—— 水这个东西大家都见过。 当你有一杯水的时候，你可以喝它。 当你有一盆水的时候，你可以用它洗脸。 当你有一浴缸水的时候，你可以用它泡澡。 当你有一游泳池水的时候，你可以用它游泳。当你有一西湖水的话，你可以用它划船泡妹子。当你有一运河水的时候，你可以用它运粮食。当你有一长江水的时候，你可以来往于中国的西部和东部。 当你有一大西洋水的时候，你就可以发现新大陆了！

7 内容提要 大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！

8 科学研究与统计分析：从公式到范式。 2009

9 千年前 日心说 百年前 三大定律 十年前 模拟仿真 目前 用的人越来越简单；（傻） 做的人越来越复杂。（智慧） 云计算

10 一进：计算机摆放的位置 脸上-？？ 掌上-手机 腿上—笔记本 桌上– 台式机

11 一退：人类手指的功能 毛笔– 4个指头 钢笔—3个指头 屏幕-2个大拇指 无指办公-语音识别

12 Bradley Efron ：Future of Indirect Evidence
2010

13 JAMES–STEIN ESTIMATION
Bradley Efron ：Future of Indirect Evidence JAMES–STEIN ESTIMATION

14 LARGE-SCALE MULTIPLE INFERENCE

15 上上个世纪-B时代– 贝叶斯 上个世纪-F时代– 频率学派
科学研究与统计分析：从公式到范式。 上上个世纪-B时代– 贝叶斯 上个世纪-F时代– 频率学派 本世纪--- B-F时代– 经验贝叶斯 2010

16 内容提要 大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！

17 有规律 发现规律 自然科学的确定性 E = MC2 最美的公式 最残忍的公式 数 学 物 理 爱因斯坦 (1879-1955) 欧拉
L·Euler 1707—1783 最残忍的公式 物 理 爱因斯坦 Albert Einstein ( ) E = MC2 有规律 发现规律

18 经济问题的不确定性 没有规律 创造规律

19 社会科学的复杂性 摸着石头过河

20 统计：最黄色（SEX）的专业 Statistical thinking “白骨精” 的第三种能力

21 统计思维：至理名言 "Statistical thinking will one day be as necessary for efficient citizenship as the ability to read and write!" H. G. Wells

22 统计思维：统计与科幻 《时间机器》 （The Time Machine, 1895年） 《隐形人》
（The Invisible Man，1897年） 《星际战争》 （The War of the Worlds，1898年） 《最早登上月球的人》 （The First Men in the Moon，1901年）

23 东西方思维 的差距

24 贝叶斯统计思维：中西方的融合

25 Bayes' Theorem in the 21st Century Bradley Efron
科学与统计 2013年6月 Bayes' Theorem in the 21st Century Bradley Efron Department of Statistics, Stanford University, Stanford, CA 94305, USA. The term "controversial theorem" sounds like an oxymoron, but Bayes' theorem has played this part for two-and-a-half centuries. Twice it has soared to scientific celebrity, twice it has crashed, and it is currently enjoying another boom. The theorem itself is a landmark of logical reasoning and the first serious triumph of statistical inference, yet is still treated with suspicion by most statisticians. There are reasons to believe in the staying power of its current popularity, but also some signs of trouble ahead.

26 金融与统计 我的管理之道很简单： 贝叶斯思维 Risk and Uncertainty in Monetary Policy Alan Greenspan Vol. 94, No. 2, May 2004

27 信息与统计 18世纪的贝叶斯定理成为Google计算的新力量

28 小学生的例子：鸡兔同笼问题。 确定性问题：奥数(不能用方程) （对青少年的影响：） 土豪解法： 让鸡一屁股坐下来（微信）

29 不确定性问题： 上海奥数班全班同学统一答案： 99-44=55 岁 中学生的例子：牛羊与船长。 一艘船上，牛99只，羊44只，船长多大？
外国专家的题不会错：（做不出对不起老师）； 要用数学方法（乘法离谱，加法太大，除法太小） 船长有胡子； （与生俱来的贝叶斯思维，船长太太多大？）

30 如果一个班级100人，只有2个人的身高数据，全班的平均身高是多少？
大学生的例子：2个人的身高 如果一个班级100人，只有2个人的身高数据，全班的平均身高是多少？

31 统计思维 频率学派： 加权平均；几何平均； Bootstrap……

32 统计思维 贝叶斯学派： 收集身高之外的信息 性别、地域、籍贯、专业…… 北京理工平均身高>广西理工

33 统计思维 广西的葱 北京的

34 统计思维 进一步：身高与专业的关系 财政金融平均身高>统计学院？

35 定量 数据 科学 定性 先验 艺术

36 统计学是什么？ 大数据 小结论

37 贝叶斯统计推断是什么？ 先验 信息 先验是否 可靠、科学？ 数据 计算 结论 无论圈再大， 圈外一定比圈内大

38 如果一枚硬币被连续抛100次，每次都是正面朝上，那么，抛第101次时，
先验 如果一枚硬币被连续抛100次，每次都是正面朝上，那么，抛第101次时， 正面朝上的概率是多少？

39 50% 贝叶斯统计学观点则认为： 第101次时正面朝上的概率会大大高于50% 经典（频率）统计学观点的推断 理想状态：独立
真空 贝叶斯统计学观点则认为： 第101次时正面朝上的概率会大大高于50% 100次连续正面朝上， 证明该硬币不均衡或两面均为正面。 现实

40 很多复杂问题 仅有科学是不够的（艺术、哲学、宗教、邪教）
思考 为什么我们有时 不能用频率的思想 频率统计学： 客观、科学、…… 贝叶斯统计学：主观、唯心 、先验 …… 很多复杂问题 仅有科学是不够的（艺术、哲学、宗教、邪教）

41 很多问题没法靠“投硬币”解决 Bayesian inference is used all the time in everyday life ： What are the chances … that I gain from this investment … that it will rain tomorrow … that I am still alive after crossing this road … 升官 发财 无法重复试验，机会只有几次

42 先验 常人看图 相同人相同角度 盲人摸象 不同人不同角度

43 经 验 家庭背景 成长地域 学习过程 工作经历 人际交往 小到持家（毛&邓） 大到治国 (胡&习) ……（正确 或 错误） 先 验 决策
结合实际 成长地域 经 验 学习过程 先 验 工作经历 小到持家（毛&邓） 大到治国 (胡&习) 人际交往 ……（正确 或 错误）

44 贝叶斯主义“悖论” 无论你是否相信贝叶斯理论，你都是一个贝叶斯主义者。 相信，显然； 不相信，为什么不相信，（理由有……）
但无论理由有多充分，你都无法回避： “不相信”本身也是一种你头脑中的“先验”！ 而且，“不相信”的程度要比“相信”更严重 [爱 与 恨 相比：爱只会心痛，恨可能要命]

45 人的最重要的一种能力—处理不确定性

46 绞尽脑汁 —— 从不确定性中寻找“很可能”

47 统计思维：把不可能变成可能

48 MCMC与千岛湖：统计、计算机与艺术 参见：MCMC的发展与现代贝叶斯的复兴 2014（02），统计与信息论坛

49 总结 复杂与简单的融合 贝叶斯与频率的融合 统计与计算机的融合

50 不久的将来， 大胆猜测（2014.12.21） 高等数学会变成“甲骨文”；（博物馆） 统计会变成职能机的一个集成模块； （左脚离合）
最流行的专业：旅游系（爸爸去哪?） 音乐系（中国好声音！）

51 间接证据 【TED】美国（2009） 人人学统计

52 致谢：贝叶斯“传道士” （1934年-2005年） 陳希孺 中國科學院院士 Arnold Zellner （1927-2010）
The University of Chicago

53 致谢：贝叶斯“传道士” 美国科学院院士、 Duke 大学James O. Berger Andrew Gelman
Columbia University Xiao-Li Meng Harvard University

54 致谢：贝叶斯“传道士” 茆诗松（华东师范大学） 王静龙（华东师范大学）

55 致谢：贝叶斯“传道士” 吴喜之（中国人民大学） 袁卫（中国人民大学）

56

57 简里里：3+3+3

58 在座未来的杜拉拉门： 离计算机、统计近些， 离数学远些。

59 谢 谢 ！ 其实很容易 统计： 刘乐平