第四章 多样本分类数据模型 在参数检验中,我们常常对三个或三个以上的总体的均值进行相等性检验,使用的方法是方差分析,在非参数分析中也会遇到同样的问题,检验多个总体的分布是否相同。更严密的说,当几个总体的分布相同的条件下,讨论其位置参数是否相等。方差分析过程需要假定条件,F检验才有效。可有时候所采集的数据常常不能满足这些条件,像多样本比较时一样,我们不妨尝试将数据转化为秩统计量,因为秩统计量的分布与总体分布无关,可以摆脱总体分布的束缚。秩方法在方差分析中的应用。
Kruskal Wallis秩和检验 例:在一项健康试验中,三组人有三种生活方式,他们的减肥效果如下: 他们的减肥效果(位置参数)是否一样? 1 2 3 一个月后减少的重量(单位500克) Ni 3.7 7.3 9.0 3.7 5.2 4.9 3.0 5.3 7.1 3.9 5.7 8.7 2.7 6.5 5 5 4 他们的减肥效果(位置参数)是否一样?
Kruskal Wallis秩和检验思想 在比较两个以上的总体时广泛使用的Kruskal-Wallis检验,就是对两个以上的秩样本进行比较的非参数方法,实质上它是两样本比较时的Wilcoxon方法在多于两个样本时的推广。 在该测验中,首先计算全体样本中的秩,遇到数据出现相等,即存在“结”的情况时,采用“平均秩”手段让它们分享它们理应所得的秩和,再对数据(秩)进行方差分析,但构造的统计量并不是组间平均平方和除以组内平均平方和,而是KW=组间平方和/总平方和的平均数,KW表示Kruskal-Wallis统计量。
假设: KW统计量的观察值是我们判定各组之间是否存在差异的有力依据。因为我们需要检验的原假设是各组之间不存在差异,或者说各组样本来自的总体具有相同的中心(均值或中位数)。Kruskal-Wallis统计量的计算步骤为: 将 k 组数据混合,并从小到大排列,列出等级,如有相同数据则取平均等级,如果原假设为不真,某个总体的位置参数太大,则其观测值也倾向于取较大的值,则该总体的观测值的秩和也会偏大,因而导致
偏大 其中, Sn的含义: 在原假设为真的条件下,只要k大于3, KW很快地依分布趋于自由度为(k-1)的卡方分布。
检验方法 计算第j组的样本平均秩: 对秩仿照方差分析原理:得到Kruskal-Wallis的H统计量:
对比其中每两组差异: 对比其中每两组差异的时候,用Dunn(1964)年提出用: 其中 如果 那么表示i和j两组之间存在差异, , 为标准正态分布分位数。
例:从我国上市公司中分别随机抽取了工业、商业、建筑业、交通运输业等四个行业,其在1999年的总资产报酬率如下,问四个行业资产报酬率是否有显著性差异.
要检验这四个组数据的差异性,也可以利用方差分析,但方差分析需要假定观测值服从正态分布。所以用Kruskal-Wallis检验。首先将四个组的数据混合,然后按升序排列的下表:
SPSS演示 输入数据,如图所示
按照Analyze→Nonparametric →k Independent Samples,出现以下对话框
单击Define Range按钮,出现分组变量范围确定对话框,如下图:
结果: 卡方统计量为17.053,相伴概率为0.001<0.05,说明四组样本分布存在显著差异.
Jonckheere-Terpstra检验 检验原理以及方法 假设k个独立的样本: 分别来自于k个形状相同的分布: . 假设检验问题: 至少有一不等式严格成立。
计算步骤 1. 计算 2. 计算Jonckheere-Terpstra统计量: 3. 当J取大值的时候,考虑拒绝零假设,J精确分布可以查零分布表,对于大样本,可以考虑正态近似。 1. 计算 打结的情况时,采用变形的公式:
例题:为了测试不同促销策略是否成功,某快餐连锁公司从全国连锁店中随机抽取18家连锁店,将这些连锁店随机分为三组,每组实施不同的促销策略。实行一个月后,每组中各个连锁店销售额增长率如表所示 组别1 组别2 组别3 7 13 12 1 8 20 5 9 6 3 11 17
SPSS演示 输入数据,如图所示
按照Analyze→Nonparametric →k Independent Samples,出现以下对话框
单击Define Range按钮,出现分组变量范围确定对话框,如下图:
结果: J统计量为86,相伴概率为0.01<0.05,说明三组样本观察值呈现上升趋势。
区组设计概述
BIB例: 区组 处理 I II III IV A 34 28 36 B 30 45 C 40 48 60 D 44 54 59
完全区组设计:Friedman秩和检验 Friedman检验也称Friedman 检验,是1937年Friedman提出的检验方法。它是检验K个总体的分布中心是否有差异。Friedman提出的检验方法是独立地在每一个区组内各自对数据进行排秩。 例如美国通用、福特与克莱斯勒汽车公司5种不同车型的某年产品油耗情况如表所列,数据分析关心的问题之一是三个公司汽车耗油有无差异
例:3个汽车公司5种不同车型某年产品油耗情况 如果三个汽车公司不同车型的油耗没有差异,则每种公司的排序是随机的。否则每个公司的排序会有倾向。
Friedman秩和检验 假设检验问题:
Friedman秩和检验-基本方法 1、每一区组中计算各处理的秩 2、处理在各区组中的秩相加, 倘若k种处理不存在差异,那么无论从哪一个区组去观察,每一种处理所得到的数据在该区组内可能地排秩为1至k中的任何一个数。因此,假如原假设为真的话,对每一个i, 应与 相距不远,或者其秩平均 =Ri/n应与(k+1)/2相距不远。仿照方差分析的讲法,由处理产生的“秩变异平方和”:
当原假设为真, 应该比较小。反之,若该平方和较大的话,则为拒绝原假设提供有力证据。 2、统计量 这个平方和究竟怎样算大怎样又算小,统计学的常规处理手法之一还是将它与另外的z平方和或平均平方和来比较,Friedman检验统计量就是将这个平方和除以秩的整体平均平方和,得
例:企业邀请广告公司拍了4个广告片,分别为A,B,C,D,并邀请4名专家对广告片的创意水平进行评分,具体评分结果如下表所示: 编号 广告A 广告B 广告C 广告D 1 86 89 91 2 87 93 3 85 95 4 84 92 分析通过专家对4个广告片创意水平的评分,企业应当选择哪个广告片进行广告投放?
H0:广告片A,B,C,D创意水平的评分没有显著差异 H1:广告片A,B,C,D创意水平的评分存在显著差异 构造每个样本各个指标观察值的秩以及秩和Rj,j=1,2,3,4,如下表所示: 编号 广告A 广告B 广告C 广告D 1 1.5 3 4 2 2.5 秩和 R1=6 R2=15 R3=12 R4=7
SPSS演示 输入数据,如图所示
按照Analyze→Nonparametric →k Related Sample顺序选中多个相关样本非参数计算模块,出现以下对话框
结果: 卡方值为8.757,相伴概率为0.033小于0.05,所以4个广告作品创意水平的评分存在显著差异。
多元变量协同系数检验 在实际生活中,经常需要按照某些特别的性质来多次(m次)对n个个体进行评估或排序,比如m个裁判者对于n种品牌酒类的排队,m个选民对n个候选人的评价,m个咨询机构对一系列(n个)企业的评估以及体操裁判员对运动员的打分等等。人们往往想知道,这m个结果是否多少一致。如果很不一致,则这个评估多少有些随机,没有多大意义。令零假设H0为:“这些评估(对于不同个体)是不相关的或者是随机的”。而备择假设H1为:“它们(对各个个体是正相关的或者是多少一致的。”这里完全有理由用前面的Friedman方法来检验,Kendall一开始也是这样做的,后来,Kendall和Slith提出了协同系数。
这里S是个体的总秩与平均秩的偏差的平方和,每个评估者(共m个)对于所有参加排序的个体有一个从1到n的排列(秩),而每个个体有m个打分(秩),记Ri为第i个个体的秩的和,(i=l,…,n),则
因为总的秩为m(l+…+n)=mn(n+1)/2,平均秩为m(n+l)/2, Kendall协同系数W还可以写成下面的形式: 上面右边的表达式计算起来较方便,W的取值范围是从0到1,对W和S都有表可查,当n大时,可以利用大样本性质:在零假设下,对固定的m,当n→∞时,
下面是4个独立的环境研究单位对 10个城市空气等级排序: W的值大(显著),意味着各个个体在评估中有明显不同,这样所产生的评估结果是有道理的;而如果W不显著,意味着评估者对于诸位个体的意见很不一致,则没有理由认为能够产生一个共同的评估结果。 下面是4个独立的环境研究单位对 10个城市空气等级排序: 计算结果为W=0.8530,卡方值等于30.709。在零假设下,利用卡方近似的p值为0.0003,因此,可以对大于或等于该值的水平拒绝零假设,也就是说,这个评估是有道理的。
练习:在某次自由体操的比赛上,6名国际裁判对10名参赛选手的评分等级如下表: 裁判A 裁判B 裁判C 裁判D 裁判E 裁判F 1 5 2 3 7 8 4 6 9 10 问:裁判的打分是否一致?
关于二元响应的Cochran检验 社会经济中的有些数据经常以序数面目出现,尤其是民意调查或市场调查中,需要被调查者在某个问题中圈定等级,回答“是”或“否”。不管怎样,只要使获得的数据能以两种方式归类就可以。本节只考虑完全区组设计的一个极重要的特殊情况—观察值仅取两个值之一。例如,“是”与“否”,“+”与“-”,“成功”与“失败”等。通常以1表示成功,0表示失败,于是每一个区组由k个0或1构成。我们以Lj表示第j个区组内成功的次数(1的个数)而以Bi表示第i种处理中成功的次数(1的个数),若想检验各种处理的反应是否有差异,用类似于Friedman检验这样的方法将这些0、1数据转换为秩统计量的话,相当于几乎每个区组内排秩时都存在着“结”。
Cochran为此引进如下统计量:
练习:设有A,B,C三种榨汁机分别给10位家庭主妇使用,用以比较三种榨汁机喜爱程度是否相同。对于喜欢的品牌给1分,否则给0分,调查结果如下表所示: 主 妇 1 2 3 4 5 6 7 8 9 10 和 A B C 17
完全区组设计:Page 检验
检验统计量:
>
Durbin不完全区组分析 原理:可能存在处理非常多,但是每个区组中允许的样本量有限的时候,每一个区组中不可能包含所有的处理,比如重要的均衡不完全区组BIB设计。Durbin检验便是针对这种问题。 表示第i个区组第j个处理中的观测值, Rij 为在第i个区组中第j个处理的秩,计算:
构造统计量: 当D值较大的时候,可以考虑拒绝零假设,认为处理之间存在差异。在零假设成立时,大样本情况下,D近似服从分布 。打结的时候,只要长度不大,对结果影响不太大。
解答:
不完全秩评定的Kendall协和系数