信度分析

信度的理論 定義： 經由多次複本測驗所的結果間的一致性或穩定性。 估計測量誤差有多少，以反映真實量數程度的指標。 當誤差比例低，真實分數高，則信度高。 一般而言，信度係數介於0到1之間。 優良測驗信度至少需在.80以上。

理論：真實分數模式的假設 實得分數(X)＝真實分數(t)＋誤差分數(e) 又稱為「測量分數」、「觀察值」 真實分數無法直接觀察測量，需仰賴實得分數加以推估。 誤差分為系統誤差、非系統誤差。 系統誤差：對學生的影響一致，又稱為「偏誤」。 非系統誤差：因學生身心狀況、施測情境和測驗試題編擬等，影響其表現，又稱為「隨機誤差」

理論：信度的數學意義 信度係數 測量模式：1=（信度）＋（誤差） 誤差與真實（信度）的關係 信度 誤差 測驗意義 完全信度＝1 零誤差 測量代表全部真實 無信度＝0 完全誤差 測量代表誤差分數 註：事實上，這兩種極端現象均不會出現

常模參照的信度分析：再測信度 定義：同一份測驗，在不同時間，對同一批學生前後重複測驗兩次，兩次得分間的相關係數，為「再測係數」 前提：假設其測量的潛在特質，短時間不會改變，維持其穩定性，又稱為「穩定係數」 信度高低與兩次測量時間間隔長短相關，以間隔一至二週為恰當。 較適用於動作技能測驗，不適用於認知情意測驗。

常模參照的信度分析：複本信度 定義：兩份試題在格式、難度、說明、施測時限、測量能力都相當，試題內容卻不同的測驗 複本信度：兩次施測分數間的相關係數，複本信度越高，表示測驗對測量該能力越有代表性 等值係數：同一時間連續施測，僅反應抽樣誤差 穩定且等值係數：間隔一段時間施測，反應試題抽樣誤差及時間抽樣誤差，為估計測驗信度最嚴謹的良好分法之一。

常模參照的信度分析：內部一致性 定義：僅施測一次，即可估計的信度係數，稱為「內部一致性信度」 內部一致性信度分為三種 折半信度 K-R信度 α係數

折半信度 定義：單獨一次測驗結果，以隨機方式將其分為兩半，再求出這兩半結果間的相關係數。 此係數即稱為「折半相關」，代表測驗內容越一致或相關，測驗內容抽樣適當。 與複本信度一樣，無法測出學生學習前、後的差異 缺點：僅適用半份測驗的信度，低估試題長度的測驗信度，可用「斯布校正公式」推估信度。 斯布校正公式：

折半信度 簡化斯布校正公式 佛氏校正公式：不需要兩半測驗符合變異數同質性的假設 盧氏：算法較為簡便

K-R信度 方法：依據學生對試題的作答反應，分析其一致性，以確定是否測驗的相同特質。 基本假設：適用於「二元化計分」（對或錯） 試題不受作答速度影響 試題都是同質的 測量誤差主要為「抽樣誤差」，測驗測量兩種以上能力時，信度越小。 簡化公式： n為測驗題數、X為測驗分數的平均數、 為測驗總分變異數

α係數 多元化計分的信度公式，為信度係數估計的通式。 當α係數、K-R係數頗高時，真正信度更高，若兩者信度偏低，則無法判斷信度是否可靠。

評分者信度 評分者信度越高，表示評分者評分結果越一致。 等級相關係數：僅有兩位評分者（d為等第之差，N為評定者人數） 和諧係數：三位（含）以上評定時

同質性係數 適用於次序性評定量表，如李氏五點評定量表，可估計評分者與被評分者的信度係數 同質性係數（Hj） K為評分者人數。當K為偶數，m值為0；當K為奇數，m值為1。

課本 p.271 C為評定等第數目，本題為5 K為評分者人數，本題為3 由於K為奇數，m值為1。

信度係數：真實分數的變異數占實得分數的變異數的百分比值。 信度指標：信度係數的的平方根。

效標參照測驗的信度分析 事先設定學生通過標準，用以決定學生是否達到「精熟」目標。 兩種估計方法：百分比一致性、K係數 百分比一致性（PA）：指分析前後兩次分類，決定結果是否一致，並以百分比之和表示。 K係數：指評分者實際評定為「一致」的次數百分比，與評分者在理論上評定為一致的最大次數百分比。

百分比一致性範例：課本 （p.275） 假設對100為同學實施甲、乙兩份測驗。 以「答對80%」作為精熟目標。 A區60人兩份測驗都精熟（60%），D區20人兩份都未達精熟（20%），百分比之和80%（.80），即為信度。

K係數範例：課本 （p.276） Pc=.58 為理論上評定為一致的百分比 K=.52 為校正後的係數，數值越大表示信度係數越高。

影響信度的因素：試題題數的多寡 試題題數的多寡：折半信度的「斯布校正公式」，10題的信度為 .50。 長度2倍： 長度3倍： 長度4倍： 同質的複本試題越多，越能涵蓋教材內容，測驗越不容易受猜測因素影響，信度越高。

影響信度的因素 樣本能力分配：受試者能力分配變異數越大，信度越高。如：小學生測驗「智力與學業的關係」，由於為常態樣本團體，其測驗信度較高。 試題難易度：極難或極易都會使全體得分偏低或偏高，分數分配的變異程度小，信度偏低。在「效標參照」測驗，由於其難度值偏高（較為簡單），其信度係數比常模參照測驗為低。 計分客觀性：計分方式越客觀（如：是非題、選擇題、配合題），信度較高；計分方式越主觀，信度受評分者影響，較為偏低。 信度估計方法所造成的誤差。（表6-3）

信度低的補救措施 增加試題或刪除不良試題：以公式求得應增加題數。N為目前題數應增加的倍數，ro為目前信度係數，rd為所期望信度係數值。 本題 4倍的題數為40題 增加複本的題數，亦需考量學生的作答誤差率及作答時間。

信度低的補救措施 校正相關係數萎縮：使用測驗工具都會有誤差，因而信度並非完全信度，相關係數有萎縮現象，必須進行校正，才能較為接近真正相關係數值。

刪除「刪題後信度」低於「內部一致性」者