Development of the Standardized Tests

Presentation on theme: "Development of the Standardized Tests"— Presentation transcript:

1 Development of the Standardized Tests
標準化測量工具的發展與評估 Development of the Standardized Tests

2 大綱 了解標準化測驗的基本特性 了解標準化測驗的編製程序 了解信度的意義與類型 了解效度的意義與類型 了解信度與效度的關係

3 標準化測量工具的發展流程 測驗編製計劃 試題編寫 預試 正式量表建立 量表研究與維護 項目分析（item analysis） 信效度評估
常模（norm）

4 信度(reliability) 意義: 測量的可靠性 trustworthiness 信度的數學原理
一致性（consistency）─表示測驗內部試題間是否相互符合 穩定性（stability）─不同的測驗時點下，測驗分數前後一致的程度 信度的數學原理 凡測量必有誤差，誤差由機率因素所支配，為一隨機誤差（random error） 測驗分數=真實分數+誤差分數 測驗總變異量=真實分數的變異＋隨機誤差變異 信度係數介於0與+1之間，數值越大，信度越高

5 信度的類型 再測信度（test-retest reliability） 複本信度（a1ternate-form reliability）
係指以同一種測量工具，對同一群受試者，前後測驗兩次的相關係數。又稱穩定係數。 複本信度（a1ternate-form reliability） 同一群受試者接受兩種複本測驗的得分之相關係數。 內部一致性係數（coefficient of internal consistency） 反映測量工具內部同質性、一致性或穩定度。同質性越高，代表量表試題是在測量相同的特質。KR20適用於二分變數的測量，Cronbach’s α適用於多元尺度變數的測量 評分者間信度（inter-rater reliability） 不同的評量者間分數的相關係數。

6 影響信度的因素 影響信度的關鍵因素是測量誤差，可以減低誤差的方法，即能夠提高信度。 基本原理：中央極限定理 、測量標準誤、共變量的計算
受試者因素（如受測者的身心健康狀況、動機、注意力、持久性、作答態度等變動） 主試者因素（如非標準化的測驗程序、主試者的偏頗與暗示、評分的主觀性等等） 測驗情境因素（測驗環境條件如通風、光線、聲音、桌面、空間因素等皆有影響的作用） 測驗內容因素（試題取樣不當、內部一致性低、題數過少等） 時間因素

7 效度(validity) 效度的意義 評估效度的方法 測量的正確性，指測驗或其他測量工具確能測得其所欲測量的特質或功能之程度
測量的效度愈高，表示測量的結果愈能顯現其所欲測量對象的真正特徵 測驗的效度通常以測驗分數與其所欲測量的特質之間的相關係數表示之 評估效度的方法 判斷法（informed judgment）─測量特性與質的評估 實徵法（gathering of empirical evidence）─根據具體客觀的量化指標來進行評估

8 三種驗證效度的方法 內容效度（content validity） 效標關聯效度（criterion-related validity）
反映測量工具本身內容廣度的適切程度，強調測量內容的廣度、涵蓋性與豐富性 針對測量工具的目標和內容，以系統的邏輯方法來詳細分析，又稱為邏輯效度（1ogical validity） 表面效度（face validity），指測量工具在外顯形式上的有效程度 效標關聯效度（criterion-related validity） 以測驗分數和特定效標（criterion）之間的相關係數，表示測量工具有效性之高低。 同時效度（concurrent validity）與預測效度（predictive validity） 建構效度（construct validity） 指測量工具能測得一個抽象概念或特質的程度。 多元特質多重方法矩陣法（multitrait-multimethod matrix）：聚斂效度（convergent validity）及區辨效度（discriminant validity）。 因素效度（factorial validity）：一個測驗或理論因素結構的有效性。

9 影響效度的因素 測量過程因素─實施過程標準化 樣本性質─ 效標因素 干擾變項 選用異質性高的樣本 樣本的代表性 不適當的效標選用
效標本身的測量品質 干擾變項

10 信度與效度之關係 信度代表測量的穩定性與可靠性，效度為測量分數的意義、價值與應用性 測驗之穩定性又為正確性之先決條件