第13章 有序分类变量的统计推断——非参数检验

Presentation on theme: "第13章 有序分类变量的统计推断——非参数检验"— Presentation transcript:

1 第13章 有序分类变量的统计推断——非参数检验
第13章　有序分类变量的统计推断——非参数检验

2 第13章有序分类变量的统计推断——非参数检验
13.1　非参数检验概述 13.2　两个配对样本的非参数检验 13.3　两个独立样本的非参数检验

3 13.1　非参数检验概述 13.1.1　非参数检验的意义 13.1.2　非参数检验预备知识

4 13.1.1　非参数检验的意义 非参数检验(nonparametric testing)是指在总体不服从正态分布且分布情况不明时，用来检验数据资料是否来自同一个总体假设的一类检验方法。由于这些方法一般不涉及总体参数故得名。 这类方法的假定前提比参数性假设检验方法少的多，也容易满足，适用于计量信息较弱的资料且计算方法也简单易行，所以在实际中有广泛的应用。

5 13.1.1 非参数检验的意义 非参数检验在总体分布未知时有很大的优越性。它总是比传统检验安全。
13.1.1　非参数检验的意义 非参数检验在总体分布未知时有很大的优越性。它总是比传统检验安全。 在总体分布形式已知时，非参数检验不如传统方法效率高。这是因为非参数方法利用的信息要少些。往往在传统方法可以拒绝零假设的情况，非参数检验无法拒绝。 但非参数统计在总体未知时效率要比传统方法要高，有时要高很多。是否用非参数统计方法，要根据对总体分布的了解程度来确定。 

6 13.1.2　非参数检验预备知识 心中有数：拿到一批数据，总是希望得到数据总体的分布情况，这时可以通过绘制直方图，P-P图，Q-Q图的方式来了解总体的大概分布。 秩(Rank)及秩统计量：非参数检验中秩是最常使用的概念。什么是一个数据的秩呢？一般来说，秩就是该数据按照升幂排列之后，每个观测值的位置。

7 13.1.2 非参数检验预备知识 例如我们有下面数据 这下面一行（记为Ri）就是上面一行数据Xi的秩。 Xi 15 9 18 3 17 8
13.1.2　非参数检验预备知识 例如我们有下面数据 这下面一行（记为Ri）就是上面一行数据Xi的秩。 Xi 15 9 18 3 17 8 5 13 7 19 Ri 1 4 2 6 10

8 13.1.2 非参数检验预备知识 利用秩的大小进行推断就避免了不知道背景分布的困难。这也是非参数检验的优点。
13.1.2　非参数检验预备知识 利用秩的大小进行推断就避免了不知道背景分布的困难。这也是非参数检验的优点。 多数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质。

9 13.2　两个配对样本的非参数检验 13.2.1　方法原理 13.2.2　分析实例 13.2.3　确切概率的计算

10 13.2.1 方法原理 两配对样本的非参数检验是在总体分布未知的情况下，通过分析两组配对样本数据，推断总体的分布是否存在明显的差异。
13.2.1　方法原理 两配对样本的非参数检验是在总体分布未知的情况下，通过分析两组配对样本数据，推断总体的分布是否存在明显的差异。 SPSS提供的两配对样本非参数检验主要有符号检验(Sign法)，Wilcoxom符号秩检验和McNemar检验。

11 13.2.1　方法原理 McNemar是一种变化显著性检验，以研究对象作为自身对照，观测每个个体在对照前后是否发生变化，以此检验“前后”的变化是否显著。因此，McNemar检验法处理的是二分值问题，比如比较演说前后同一批选民对竞选人支持或者反对的看法是否有显著性转变。 其基本思想是基于列联表进行分析的，分析的是一个二值变量，采用二项分布检验的办法，检验是否服从0.5为p值的二项分布。

12 13.2.1　方法原理 符号(Sign)检验，用第一组变量减去第二组变量，记录差的正负符号个数，如果差值为正的个数S+与差值为负的个数S-差别不大，则认为两组样本没有显著差异。 选用统计量S=min(S+,S-)，当样本数较小时，S的分布可用二项分布来刻画，当n较大时，S近似服从正态分布。

13 13.2.1 方法原理 Wilcoxon符号秩检验的基本思想与符号检验类似。
13.2.1　方法原理 Wilcoxon符号秩检验的基本思想与符号检验类似。 用第一组变量减去第二组变量，记录差的正负号并同时保留差的大小，按差的绝对值升序排序，求出变量的秩。然后分别计算正号秩总和W+和负号秩总和W-，如果正负符号秩大致相当，说明分布没有显著差异，否则认为有显著差异。

14 13.2.1　方法原理 构造统计量W=min(W+，W-)，如果两个总体无显著差异，则统计量W近似为n(n+1)/4，或者说W值不会太小，反之如果W值太小，说明两个总体有显著性差异。 当样本数n较大时，Z近似服从正态分布。

15 13.2.2　分析实例 例13.1 一家日用化工企业拟采用两种去污配方生产新型去污剂，于是挑选了一系列沾染污渍物件进行测试，其中一项是对清除不同污渍所需时间的测试，技术人员想知道它们在这方面的功效是否有差别。 数据见npara1.sav

16 13.2.2 分析实例 AnalyzeNonparametric Tests 2 Related Samples
13.2.2　分析实例 AnalyzeNonparametric Tests 2 Related Samples Test Pair(S) List：x-y Test Type：wilcoxon 被测物 配方x所需时间 配方y所需时间 A 24 23.1 B 16.7 20.4 C 21.6 17.7 D 23.7 20.7 E 37.5 42.1 F 31.4 36.1 G 14.9 21.8 H 37.3 40.3 I 17.9 26 J 15.5 K 29 35.4 L 19.9 25.5

17 13.2.2　分析实例 对应与两种配方除污所需要时间的秩的不同关系的秩频数、均值秩及秩和，并标注出一个结。

18 13.2.2　分析实例 近似概率p=0.029<0.05，拒绝原假设，认为两种配方在除去污渍所需时间的测试中体现出不同的效能，有显著性差别。结合实际数据知x配方比y配方更快。

19 13.3 两个独立样本的非参数检验 13.3.1 Mann-Whitney U检验 13.3.2 分析实例
13.3　两个独立样本的非参数检验 13.3.1　Mann-Whitney　U检验 13.3.2　分析实例 13.3.3　其他两样本非参数检验方法

20 13.3　两个独立样本的非参数检验 比较两个事物是否相同是实际中经常要研究的问题。如果已知两个事物均是服从正态分布，那么可通过参数检验方法，比较它们的均值和方差是否相同即可。如果两个事物(即总体)的分布不明确，那么参数检验方法就不能用。 两独立样本的非参数检验正是在总体分布未知的情况下，通过两组样本的分析，来推断总体的分布是否存在显著差异的检验方法。例如：两种生产工艺，两种产品差别等。

21 13.3.1 Mann-Whitney U检验 SPSS中提供了四种方法： Mann-Whitney U法(曼－惠特尼U检验)：
通过对平均秩的研究来实现推断的。 Kolmogorov-Smirnov Z法： 类似单样本检验的K-S法，通过对分布的研究来实现推断。

22 13.3.1 Mann-Whitney U检验 SPSS中提供了四种方法： Moses extreme reactions法(极端反应法)：
一个作为控制样本，另一个作为实验样本，将两组样本按从小到大排列，找出控制样本的两个极端位置之差W，如果W偏小，则拒绝原假设。 Wald Wolfwitz Runs法(游程检验法，即Runs法)： 通过对游程的研究来实现推断。

23 13.3.1 Mann-Whitney U检验 下面介绍应用最广的一种方法：
在两个独立总体X和Y中分别抽取m和n个样本，N=m+n，检验假设： H0：两总体分布的中心位置相同 将样本混合后排序，得到每个数值的秩,分别计算样本X和Y的秩和。

24 13.3.1 Mann-Whitney U检验 记X和Y的秩和分别为WX和WY，满足WX+WY=N(N+1)/2。
当X的样本全部排在Y的样本前面时， WX达到最小m(m+1)/2，定义统计量 U= WX -m(m+1)/2 当原假设成立时，两个样本交错出现，分布均匀，U不会太小或者太大。反之， 如果U偏小或者偏大，则原假设不成立。

25 13.3.1 Mann-Whitney U检验 当m，n均大于10时，U近似服从正态分布，而Z近似服从标准正态分布。
由样本计算出U的值，并计算相应的显著性概率Sig.，如果Sig.小于给定的显著性水平，则拒绝原假设，认为两个总体有显著性差异。

26 13.3.2  分析实例 例13.2 一家权威的房屋建筑协会提供了最流行的家居装修工程的成本数据，能否得出厨房的装修成本与主卧室的装修成本存在差异呢？ 数据见npara2.sav

27 13.3.2 分析实例 AnalyzeNonparametric Tests  2 independent Samples
13.3.2  分析实例 AnalyzeNonparametric Tests  2 independent Samples Test Variable: Cost(成本) Grouping： type(1主卧室，2厨房) Test type：四种均选

28 13.3.2 分析实例 AnalyzeNonparametric Tests  2 independent Samples
13.3.2  分析实例 AnalyzeNonparametric Tests  2 independent Samples Test Variable: Cost(成本) Grouping： type(1主卧室，2厨房) Test type：四种均选 下面主要给出Mann-Whitney test结果，其余方法所得结果类似。

29 13.3.2  分析实例 此表给出了平均秩次、秩和等情况，可以看出厨房和卧室的装修成本的秩和相差不大。

30 13.3.2  分析实例 此表给出了Mann-Whitney U统计量值、Wilcoxon W统计量值和Z值(即常用的u值)，近似和精确概率都大于给定水平0.05，所以不能拒绝原假设，说明厨房和主卧室的装修成本没有显著性差别。