信度分析.

Presentation on theme: "信度分析."— Presentation transcript:

1 信度分析

2 信度的理論 定義： 經由多次複本測驗所的結果間的一致性或穩定性。 估計測量誤差有多少，以反映真實量數程度的指標。
當誤差比例低，真實分數高，則信度高。 一般而言，信度係數介於0到1之間。 優良測驗信度至少需在.80以上。

3 理論：真實分數模式的假設 實得分數(X)＝真實分數(t)＋誤差分數(e) 又稱為「測量分數」、「觀察值」
真實分數無法直接觀察測量，需仰賴實得分數加以推估。 誤差分為系統誤差、非系統誤差。 系統誤差：對學生的影響一致，又稱為「偏誤」。 非系統誤差：因學生身心狀況、施測情境和測驗試題編擬等，影響其表現，又稱為「隨機誤差」

4 理論：信度的數學意義 信度係數 測量模式：1=（信度）＋（誤差） 誤差與真實（信度）的關係 信度 誤差 測驗意義 完全信度＝1 零誤差
測量代表全部真實 無信度＝0 完全誤差 測量代表誤差分數 註：事實上，這兩種極端現象均不會出現

5 常模參照的信度分析：再測信度 定義：同一份測驗，在不同時間，對同一批學生前後重複測驗兩次，兩次得分間的相關係數，為「再測係數」
前提：假設其測量的潛在特質，短時間不會改變，維持其穩定性，又稱為「穩定係數」 信度高低與兩次測量時間間隔長短相關，以間隔一至二週為恰當。 較適用於動作技能測驗，不適用於認知情意測驗。

6 常模參照的信度分析：複本信度 定義：兩份試題在格式、難度、說明、施測時限、測量能力都相當，試題內容卻不同的測驗
複本信度：兩次施測分數間的相關係數，複本信度越高，表示測驗對測量該能力越有代表性 等值係數：同一時間連續施測，僅反應抽樣誤差 穩定且等值係數：間隔一段時間施測，反應試題抽樣誤差及時間抽樣誤差，為估計測驗信度最嚴謹的良好分法之一。

7 常模參照的信度分析：內部一致性 定義：僅施測一次，即可估計的信度係數，稱為「內部一致性信度」 內部一致性信度分為三種 折半信度 K-R信度
α係數

8 折半信度 定義：單獨一次測驗結果，以隨機方式將其分為兩半，再求出這兩半結果間的相關係數。
此係數即稱為「折半相關」，代表測驗內容越一致或相關，測驗內容抽樣適當。 與複本信度一樣，無法測出學生學習前、後的差異 缺點：僅適用半份測驗的信度，低估試題長度的測驗信度，可用「斯布校正公式」推估信度。 斯布校正公式：

9 折半信度 簡化斯布校正公式 佛氏校正公式：不需要兩半測驗符合變異數同質性的假設 盧氏：算法較為簡便

10 K-R信度 方法：依據學生對試題的作答反應，分析其一致性，以確定是否測驗的相同特質。 基本假設：適用於「二元化計分」（對或錯）
試題不受作答速度影響 試題都是同質的 測量誤差主要為「抽樣誤差」，測驗測量兩種以上能力時，信度越小。 簡化公式： n為測驗題數、X為測驗分數的平均數、 為測驗總分變異數

11 α係數 多元化計分的信度公式，為信度係數估計的通式。 當α係數、K-R係數頗高時，真正信度更高，若兩者信度偏低，則無法判斷信度是否可靠。

12 評分者信度 評分者信度越高，表示評分者評分結果越一致。 等級相關係數：僅有兩位評分者（d為等第之差，N為評定者人數）
和諧係數：三位（含）以上評定時

13

14 同質性係數 適用於次序性評定量表，如李氏五點評定量表，可估計評分者與被評分者的信度係數 同質性係數（Hj）
K為評分者人數。當K為偶數，m值為0；當K為奇數，m值為1。

15 課本 p.271 C為評定等第數目，本題為5 K為評分者人數，本題為3 由於K為奇數，m值為1。

16

17 信度係數：真實分數的變異數占實得分數的變異數的百分比值。
信度指標：信度係數的的平方根。

18 效標參照測驗的信度分析 事先設定學生通過標準，用以決定學生是否達到「精熟」目標。 兩種估計方法：百分比一致性、K係數
百分比一致性（PA）：指分析前後兩次分類，決定結果是否一致，並以百分比之和表示。 K係數：指評分者實際評定為「一致」的次數百分比，與評分者在理論上評定為一致的最大次數百分比。

19 百分比一致性範例：課本 （p.275） 假設對100為同學實施甲、乙兩份測驗。 以「答對80%」作為精熟目標。
A區60人兩份測驗都精熟（60%），D區20人兩份都未達精熟（20%），百分比之和80%（.80），即為信度。

20 K係數範例：課本 （p.276） Pc=.58 為理論上評定為一致的百分比 K=.52 為校正後的係數，數值越大表示信度係數越高。

21 影響信度的因素：試題題數的多寡 試題題數的多寡：折半信度的「斯布校正公式」，10題的信度為 .50。 長度2倍： 長度3倍： 長度4倍：
同質的複本試題越多，越能涵蓋教材內容，測驗越不容易受猜測因素影響，信度越高。

22 影響信度的因素 樣本能力分配：受試者能力分配變異數越大，信度越高。如：小學生測驗「智力與學業的關係」，由於為常態樣本團體，其測驗信度較高。
試題難易度：極難或極易都會使全體得分偏低或偏高，分數分配的變異程度小，信度偏低。在「效標參照」測驗，由於其難度值偏高（較為簡單），其信度係數比常模參照測驗為低。 計分客觀性：計分方式越客觀（如：是非題、選擇題、配合題），信度較高；計分方式越主觀，信度受評分者影響，較為偏低。 信度估計方法所造成的誤差。（表6-3）

23 信度低的補救措施 增加試題或刪除不良試題：以公式求得應增加題數。N為目前題數應增加的倍數，ro為目前信度係數，rd為所期望信度係數值。
本題 倍的題數為40題 增加複本的題數，亦需考量學生的作答誤差率及作答時間。

24 信度低的補救措施 校正相關係數萎縮：使用測驗工具都會有誤差，因而信度並非完全信度，相關係數有萎縮現象，必須進行校正，才能較為接近真正相關係數值。

25 刪除「刪題後信度」低於「內部一致性」者