Kappa一致性係數與肯德爾和諧係數 邱國智 游美惠 詹志偉.

Presentation on theme: "Kappa一致性係數與肯德爾和諧係數 邱國智 游美惠 詹志偉."— Presentation transcript:

1 kappa一致性係數與肯德爾和諧係數 邱國智 游美惠 詹志偉

2 大綱 信度 kappa一致性係數 肯德爾和諧係數

3 可靠性(trustworthiness)
信度 誤差越小 信度越高 穩定性(stability) 一致性(consistency) 可靠性(trustworthiness) 測量工具的：

4 信度-信度估計方法 再測信度 複本信度 折半信度 內部一致性信度 評分者間信度
test-test reliability 一個測驗在同一群體中前後施測兩次，要注意時間掌握，時間過短有記憶的問題 複本信度 alternate-form reliability 以兩套內容相似的複本測量工具，令同一群體同時接受兩種複本測驗，以內容抽樣的方式決定題目，複本的題型、長度、指導語、涵蓋範圍等應保持一致 折半信度 split-half reliability 與複本信度相似，不同的地方在於折半信度的兩套複本事把一套測驗依題目的單雙數或其他方法分成兩半 內部一致性信度 coefficient of internal consistency 指測量題目內部之間的一致性 評分者間信度 inter-rater reliability 反映不同的評分者在測驗過程當中進行觀察、紀錄、評分等各方面的一致性

5 kappa一致性係數（K coefficient of agreement；K）
為信度(reliability)測量工具之一 評分者實際評定一致的次數百分比 評分者理論上評定的最大可能次數百分比 兩者的比率

6 kappa一致性係數（K coefficient of agreement；K）
適用時機 自變項 類別變項 依變項 再測信度 test-test reliability 內部一致性信度coefficient of internal consistency 評分者間(=2)信度inter-rater reliability

7 kappa一致性係數（K coefficient of agreement；K）
───── P - o c 1 K= 一般Kappa公式 P = 實際觀測一致的百分比(observed agreement)： 前後或兩者測驗的結果，一致的機率 o P 理論期望一致性的百分比(chance agreement)： 前後或兩種測驗結果，預期相同的機率 = c

8 kappa一致性係數（K coefficient of agreement；K）
K值落在-1與1之間，但通常介於0與1之間；當完全一致時，則K=1，當完全不一致時，則K=0 0.0~0.20 極低的一致性(slight) 0.21~0.40 一般 (fair) 0.41~0.60 中等(moderate) 0.61~0.80 高度(substantial) 0.81~1 幾乎完全一致(almost perfect)

9 kappa一致性係數（K coefficient of agreement；K）
評分結果敘述如下： 教授1與教授2皆認定合格的有22位； 教授1與教授2皆認定不合格的有11位； 教授1認為合格但教授2認定不合格的有4位； 教授1認為不合格但教授2認定合格的有2位

10 kappa一致性係數（K coefficient of agreement；K）
依文字敘述可得一列聯表格 ───── P - o c 1 K= ─────── = 0.67 教授1 教授2 合格 不合格 邊際總和 22 2 24 4 11 15 26 13 39 P = 0.8462 o ───── + 22 39 11 P = 0.5385 c ─── + 26x24 39 13x15 ───────────

11 kappa一致性係數（K coefficient of agreement；K）
SPSS運用 對稱性量數 數值 漸近標準誤a 近似 T 分配b 顯著性近似值 同意量數 Kappa 統計量數 .667 .124 4.189 .000 有效觀察值的個數 39 a. 未假定虛無假設為真。 b. 使用假定虛無假設為真時之 漸近標準誤。

12 kappa一致性係數（K coefficient of agreement；K）
評論 kappa係數不只能應用於2×2表，也能用於配對的表格(3×3、4×4、5×5…)，但只能表現一致性的百分比，本身無法表示評分者的「不一致性」是隨機還是具系統性的，因此還需對資料作進一步的檢驗。 到目前為止是屬未加權作法，亦是將所有不一致的程度都視為相等的狀況。

13 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
為信度(reliability)測量工具之一 實際上每個被評物件所評等級之和 與所有這些和 的平均數 的離差平方和 每個被評物件所評等級之和與所有這些和的平均數的理論上最大可能離差平方和 兩者的比率

14 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
適用時機 自變項 次序、等距、等比變項 依變項 再測信度 test-test reliability 內部一致性信度coefficient of internal consistency 評分者間(≧3)信度inter-rater reliability

15 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
同一評價者有相同等級者之公式 N—被評的人數或作品數； K—評分者人數； S—每個被評物件所評等級之和Ri與所有這些和的平均數 的離差平方和， 當評分者意見完全一致時，S取得最大，故0≤W≤1。 —為第i個評價者的評定結果中第j個重複等級的相同等級數。 —為第i個評價者的評定結果中有重複等級的個數；

16 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
N—被評的人數或作品數； K—評分者人數； S—每個被評物件所評等級之和Ri與所有這些和的平均數 的離差平方和， 當評分者意見完全一致時，S取得最大，故0≤W≤1。

17 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
一致性 W值落在0與1之間；當完全一致時，則W=1，當完全不一致時，則W=0 0.0~0.30 極低的一致性(slight) 0.31~0.50 一般 (fair) 0.51~0.70 中等(moderate) 0.71~0.90 高度(substantial) 0.91~1 幾乎完全一致(almost perfect)

18 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
某校開展學生小論文比賽，請6位教師對入選的6篇論文評定得獎等級，結果如下表所示，試計算6位教師評定結果的kandall和諧係數。

19 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
論文編號 評等 評分老師 一 二 三 四 五 六 A 3 1 2 5 4 6 B C D E F Ri 19 8 11 31 23 34 361 64 121 961 529 1156 2

20 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）

21 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
SPSS運用 檢定統計量 個數 6 Kendall's W 檢定a .002 卡方 .060 自由度 5 漸近顯著性 1.000 a. Kendall 和諧係數

22 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
3名專家對6篇心理學論文的評分經等級轉換如下表所示，試計算專家評定結果的肯德爾和諧係數

23 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
論文編號 評等 評分老師 A B C D E F 甲 1 4 2.5 5 6 乙 2 3 丙 1.5 5.5 Ri 4.5 10 14 17.5 12 20.25 100 25 196 306.25 144 2

24 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）

25 肯德爾和諧係數（the Kendall’s coefficient of concordance；W）
SPSS運用 檢定統計量 個數 6 Kendall's W 檢定a .056 卡方 .667 自由度 2 漸近顯著性 .717 a. Kendall 和諧係數

26 課堂提問 看了kappa與肯得爾和諧係數的名詞解釋 我想請小組舉例說明兩者的用法及差別 Kappa與肯得爾和諧係數定義與關聯？
何時需要Kendall 相關係數?另外我搞不懂到底與KAPPA有甚麼關聯性?只知道公式但不知道如何運用 KAPPA及肯德爾都是用來測量一致性的他們之間用法有哪裡不一樣嗎?? PPT內有詳細說明,以下補充資料 ※Kendall和諧係數—用於評分者可對評分對象定出等第； ※Kappa:測量信度的眾多方法之一，是在表現重覆測量間之一致性(以百分比表示) ※肯得爾和諧係數:特別適用於評分者間信度（interjudge reliability）；考驗多位評審者對N件作品評定等第之一致性。 ※Kappa一致性係數—用於評分者無法對評分對象定出等第，僅能將其分類。 

27 課堂提問 一個研究如果用KAPPA及肯德爾計算的話 所得到的結果會一樣嗎? 實際來做做看吧—kappatest3
和諧係數w代表甚麼，又漸近顯著性（P）代表甚麼？ 何謂PRE、對數線性、折半信度、和諧係數？ PRE：削減誤差比例(proportioned reduction in error; PRE) 對數線性：所謂對數線性回歸就是取對數後再跑回歸分析 和諧係數w代表甚麼？ W= Kendall和諧係數 (the Kendall’s coefficient of concordance; W )

28 課堂提問 一致性的關係有些情況下是無法將被評定是次序的，而僅能將其歸於某一類別，此時，就必須使用Kappa一致性係數，那能如果是次序可以用Kappa一致性係數嗎? 若為了研究方便，可視為名義變項進行kappa一致性分析 kappa值公式...為什麼是(實際一致性比例 - 期望值一致性比例) / ( 1 - 期望值一致性比例)，為什麼不是實際一致性比例/期望值一致性比例即可? 請老師解惑 kendall'w自SPSS中所得數值為何與公式計算出的數值不同? 請老師解惑 kappa-"到目前為止是屬未加權作法,亦是將所有不一致的程度都視為相等的狀況" ??不懂這句話的意涵? 有關肯德爾和諧係數的公式中出現的分數（１２分之１）代表的意義？當自變數和依變數各為等比或等距變數時要如何計算? 請老師解惑

29 課堂提問 社會統計學理論與應用 劉弘煌 第13章 p536-537
我無法理解S、Sa、W、Q等公式之類之由來及運用，不知是否能對以實例介紹？ 請老師解惑 kappa-"到目前為止是屬未在量表中，常用的信度檢定方法是『Cronbach's α』 想請問: Cronbach's α 與肯德爾系數及Kappa的差別及運用之處? 柯能畢曲α係數(Cronbach α)→Alpha值 量測一組同義或平行測驗總和的信度，無法用於「名義變項」除非數字化 公式 α＝[k/(k-1)]{1-[(∑σi2)/ σt2]} k：尺度中項目的數量。 Σi2：所有受訪者在項目 i 之分數的變異數 (i=1,2,…,k)。 Σt2：所有受訪者總分的變異數， 每一位受訪者的總分是指該受訪者在各項目之分數的總和。 Spss運用—kappatest3

30 謝謝指教