Download presentation
Presentation is loading. Please wait.
1
第十三章 诊断试验的评价
2
为什么要学习诊断试验的评价 循证医学的重要内容 及时取舍或灵活应用新的诊断试验（试剂、药物、方法） 提高业务素质，减少患者不必要的经济开支。
3
目 录 第一节 贝叶斯定理 第二节 诊断试验中常用的评价指标 第三节 ROC曲线
4
第一节 贝叶斯定理
5
贝叶斯定理应用
6
第二节 诊断试验中常用的评价指标 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性
第二节 诊断试验中常用的评价指标 例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N) 常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、 （八）阴性预报值。
7
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
8
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
9
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
11
灵敏度与特异度的优缺点 优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0, 1）之间，其值越接近于1，说明其诊断准确性越好。
缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。 解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等
12
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
13
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
14
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
15
医生最关心的问题： 1. 试验阳性时患病的概率多大？ 2. 试验阴性时不患病的概率多大？
16
例 表 ECG诊断试验的结果
17
例 表 ECG诊断试验的结果
18
例 表 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N)
19
阳性预报值与阴性预报值
20
第三节 ROC曲线
21
ROC的涵义与起源 ROC【receiver(relative) operating characteristic的缩写，译为“接受者工作特征”】 ROC曲线研究历史 1950’s 雷达信号观测能力评价 1960’s中期 实验心理学、心理物理学 1970’s末与1980’s初 诊断医学
22
ROC曲线评价诊断试验的重要性 诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。
重要性： 1. 循证医学的重要组成部分 2. 诊断试验评价方法可用于： 临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价……
23
Test variable 灵敏度,特异度,假阴性率,假阳性率
24
不同诊断界值时 灵敏度与特异度间的平衡(trade off)
百分率（％） 100 80 60 特异度 40 灵敏度 20 50 60 70 80 90 100 Test variable 不同诊断界值时 灵敏度与特异度间的平衡(trade off)
25
完美与无用的ROC曲线 真阳性率 即 灵敏度 假阳性率 即 1－特异度
机率线(chance line) (diagonal reference line) 假阳性率 即 1－特异度 完美与无用的ROC曲线
26
ROC曲线下面积（Area）与诊断准确度高低
高 = excellent (A) 中 = good (B) = fair (C) 低 = poor (D) = fail (F) 1.0 1.0 T 0.8 T P 0.8 P R 0.6 R 0.6 0.4 0.4 0.2 0.2 0.938 ＝ 0.664 A 0.830 A ＝ A ＝ 0.0 0.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR FPR <0.7 诊断准确度较高 （> 0.9 ） 诊断准确度较低（ ）
27
似然比（LR）在ROC曲线空间的涵义 LR＝0.7 LR＝2.3 LR＝7.5 LR＝25.0 白细胞计数诊断白血病
28
基本概念小结 ROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏度将降低特异度；增加特异度将降低灵敏度)。
在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。 ROC曲线下面积是重要的试验准确度指标。
29
一、ROC曲线工作点的计算与曲线绘制 主要任务：
计算ROC曲线工作点（Coordinate point或Operating point）（FPR, TPR） 连接相邻两点
30
连续型数据的 ROC曲线工作点（TPR，FPR）计算
将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表 表13－3 假想的连续型数据
32
有序分类数据的 ROC曲线工作点（TPR，FPR）计算
1 1
33
2
34
二、ROC曲线下面积的计算 ROC曲线下面积 (Area) 部分ROC曲线下的面积 FPR为某值对应的TPR值
35
(一) Hanley 和 McNeil非参数法
ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率 Mann-Whitney U 统计量
36
Hanley 和 McNeil法ROC曲线下面积 与Mann-Whitney U 检验
由秩和检验中的Mann-Whitney U统计量（SPSS等软件均可计算）可计算ROC曲线下面积 零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-Whitney U检验 SPSS输出的ROC面积检验P值即为上述Z值对应的概率
37
Hanley 和 McNeil法ROC曲线下面积 与梯形规则（trapezoidal rule）
38
（二）其他ROC曲线下面积计算方法 1. 双正态法 2. 有序回归模型 3. 其他模型(如双Gama法、双指数法)
39
三、ROC曲线下面积的假设检验
40
二、ROC分析的数据类型 单个连续型资料（实例1） 单个有序分类资料（实例2） 两个相关连续型资料（实例3） 两个相关有序分类资料（实例4）
Test variables
41
实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每一个体的MCV值如下： Test Variable State Variable
42
实例1：MCV诊断缺铁性贫血 图4 连续性资料的两组频率分布 0.3 异 常 0.2 组 频 0.1 率 0.1 0.2 0.3 55 60
55 60 65 70 75 80 85 90 95 100 105 0.1 组段上限值 0.2 0.3 图4 连续性资料的两组频率分布
43
实例1的SPSS输入格式 Test Variable ＝MCV结果 State Variable ＝骨髓诊断 0＝正常组 1＝异常组
Value of State Variable：1
44
SPSS的GraphsROC Curve界面
如果试验测量值越小患病的可能性越大时应改变默认的 Options…
45
SPSS输出结果
46
SPSS输出结果
47
SPSS输出结果
48
SPSS输出结果
49
MCV诊断缺铁性贫血的ROC曲线 双正态 机率线 工作点 1.0 T P 0.8 R 0.6 0.4 0.2 0.0 0.0 0.2 0.4
FPR MCV诊断缺铁性贫血的ROC曲线
50
实例2：某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为1、2、3、4、5五类。
Test Variable State Variable Frequency Variable
51
实例2：放射医生影像分类 0.5 异 0.4 常 组 0.3 频 0.2 率 0.1 -0.1 1 2 3 4 5 分类 -0.2 -0.3 -0.4 -0.5 图6 单个有序分类资料的两组频率分布
52
实例2的SPSS输入格式 Test Variable ＝诊断分类 State Variable ＝组别 0＝正常组 1＝异常组
Value of State Variable：1
53
SPSS的GraphsROC Curve界面
在调用Graphs前，必须先用DataWeight Cases…by…: 频数 如果试验测量值越小患病的可能性越大时应改变默认的 Options…
54
图7 放射医生影像分类的ROC曲线 双正态 机率线 工作点 0.0 0.2 0.4 0.6 0.8 1.0 T P R 0.8 1.0
FPR
55
其他实例的ROC曲线SPSS计算 参见： (诊断试验评价与数据挖掘)
56
推荐两本国外最新著作 Zhou XH, McClish DK, Obuchowski NA. Statistical Methods in Diagnostic Medicine. John Wiley & Sons, Inc. July 2002. （也见：宇传华译，《诊断医学统计学》人民卫生出版社，2005年2月） Pepe MS. The Statistical Evaluation of Medical Tests for Classification and Prediction . Oxford Univ Press. May
57
THE END 谢谢！
Similar presentations
