c2检验
c2检验概述 什么是c2检验? 观测数据的分布 理论分布 ?
c2检验—起源与意义 1900年K. Pearson 提出c2检验 广泛应用于各个科学分支 Hacking的评价 R.A.Fisher的评价
案例1:Rao的随机数生成实验 摸球实验:500个黑球和500个白球 BWWBW BWWBB BBBWB BBWWB (3) (2) (1) (2) BWBBB BBWWB WBWWW BBWWW (1) (2) (4) (3) ……. 奈曼:每天清晨一觉醒来,就如同打开一个装满黑球和白球的罐子,每个人都从中取一个球出来… 小沈洋 遗憾的是,不是有放回实验,黑球随着老之降至,不断增加
案例1:Rao的随机数生成实验 婴儿性别 FMMFF MMMFF MFMFM MFFFM (2) (3) (3) (2) (2) (3) (3) (2) FFMFF FMFMM MMMMF MMMMM (1) (3) (4) (5) …… Rao让学生做的试验,伟大的统计学家都是实践家,我们也给动手做实验分析案例来理解统计思想方法
案例1:Rao的随机数生成实验 频数分布 Rao让学生做的试验,伟大的统计学家都是实践家,我们也给动手做实验分析案例来理解统计思想方法
案例1:Rao的随机数生成实验 直方图 男婴个数 白球个数
Rao:天啊!上帝是靠摸球决定人的性别的? 学生:您为什么这么说? Rao:因为它们是由同一个分布产生的!不信,你可以作一下c2检验。 学生: c2检验? Rao让学生做的试验,伟大的统计学家都是实践家,我们也给动手做实验分析案例来理解统计思想方法 C.R. Rao
案例1:Rao的随机数生成实验 男婴频数 白球频数 二项分布
c2分布回顾 自由度为n的 c2 分布密度曲线 5.04右尾概率0.41 2.22右尾概率0.82
案例1:Rao的随机数生成实验 卡方值:男婴频数2.22, 白球频数5.04
案例1:Rao的随机数生成实验 自由度为5 P值=0.41 5.04右尾概率0.41 2.22右尾概率0.82 2.22 5.04
c2 检验的一般形式 假设观测频数与经验频数吻合; 在此假设下,得到卡方分布(衡量的尺子); 计算卡方值,用上述尺子作衡量,若卡方 值太大(p值太小),推翻原假设。 注意:不要拘泥于形式!要把握统计思想!
c2 检验的关键 统计思想? 小概率事件原理——一种思维方式 推断逻辑 原假设 小概率事件 质疑
案例2:Fisher如何使用卡方检验 Mendel的实验数据真实吗? R.A.Fisher G. Mendel
结论:Mendel的实验完美的验证了其理论。 案例2:Fisher如何使用卡方检验 Fisher收集了85组Mendel的实验记录 假设实验频数与理论频数来自同一分布 构造卡方统计量,服从自由度为84的c2分布 计算卡方值为42 结论:Mendel的实验完美的验证了其理论。
案例2:Fisher如何使用卡方检验 Fisher:且慢!好像有问题。自然界的随机性在哪里? 结论:孟德尔的数据是经过刻意修正的!!
案例2:Fisher的启示 是左边还是右边??? Fisher给我们的启示 尝试从不同角度考虑问题; 应用统计要把握基本的统计思想; 如何理解随机性??
案例3:检测密码序列的随机性 问题:与随机性标准高度吻合是好的随机序列吗? 案例:仅用分布均匀标准判断下面的密码序列是否随机
案例3:检测密码序列的随机性 重新排列的随机序列
案例3:检测密码序列的随机性 各行的0、1个数 观察:4:6 4:6 5:5 4:6 4:6 期望:5:5 5:5 5:5 5:5 5:5
案例3:检测密码序列的随机性 刻意制造的痕迹! 破译的突破口! 0.9012 0.0988
总结 总结与思考 c2检验——分布拟合检验 什么是小概率事件原理? 什么是随机性? 灵活的使用统计思想!
谢 谢!