信度的意義 信度的性質 信度的類型與考驗方法 影響信度的因素及補救措施 信度概念在教學評量上的應用

Slides:



Advertisements
Similar presentations
工職數學 第四冊 第一章 導 數 1 - 1 函數的極限與連續 1 - 2 導數及其基本性質 1 - 3 微分公式 1 - 4 高階導函數.
Advertisements

©2009 陳欣得 統計學 —e1 微積分基本概念 1 第 e 章 微積分基本概念 e.1 基本函數的性質 02 e.2 微分基本公式 08 e.3 積分基本公式 18 e.4 多重微分與多重積分 25 e.5 微積分在統計上的應用 32.
不定積分 不定積分的概念 不定積分的定義 16 不定積分的概念 16.1 不定積分的概念 以下是一些常用的積分公式。
變數與函數 大綱 : 對應關係 函數 函數值 顧震宇 台灣數位學習科技股份有限公司. 對應關係 蛋餅飯糰土司漢堡咖啡奶茶 25 元 30 元 25 元 35 元 25 元 20 元 顧震宇 老師 台灣數位學習科技股份有限公司 變數與函數 下表是早餐店價格表的一部分: 蛋餅 飯糰 土司 漢堡 咖啡 奶茶.
第十章 分 配 理 論 INDEX 第一節 所得分配的基本概念 第二節 生產要素的需求 第三節 分配的邊際生產力理論
單元九:單因子變異數分析.
資料整理與圖表編製 內容說明: 教師與學生互動練習,熟習資料整理 與圖表編製。.
資料整理與圖表編製 內容說明: 教師與學生互動練習,熟習資料整理與圖表編製。.
Lecture 7 試題分析 試題分析的意義 試題分析的目的 試題分析的步驟 試題難度分析 試題鑑別度分析 難度與鑑別度的關係 選項分析.
智力測驗計分與解釋 輔導老師 黃曉樺.
項目分析與信度估計 (Item Analysis and Reliability Estimation )
樞紐分析與資料庫 蕭世斌 Nov 20, 2010.
輔導與諮商理論與實務 測驗與評量 壹、測驗與心理測驗 一、測驗的意義 所謂測驗係指一種標準化的工具。用來測量
圓的一般式 內容說明: 由圓的標準式展出圓的一般式.
圓的一般式 內容說明: 由圓的標準式展出圓的一般式.
應用統計學 授課大綱 – 暑期班 By: Dr. Tsung-Nan Tsai.
數 據 分 析 林煜家 魏韶寬 陳思羽 邱振源.
測驗的信度 林陳涌 國立台灣師範大學 生物學系.
17 類別資料的分析  學習目的.
認識倍數(一) 設計者:建功國小 盧建宏.
第四章 數列與級數 4-1 等差數列與級數 4-2 等比數列與級數 4-3 無窮等比級數 下一頁 總目錄.
陳維魁 博士 儒林圖書公司 第九章 資料抽象化 陳維魁 博士 儒林圖書公司.
Kappa一致性係數與肯德爾和諧係數 邱國智 游美惠 詹志偉.
第五章 標準分數與常態分配 第一節 相對地位量數 第二節 常態分配 第三節 偏態與峰度 第四節 常態化標準分數 第五節 電腦習作.
第3章 資料的整理與表現- 統計表與統計圖.
本章大綱 9.1 Sequence數列 9.2 Infinite Series無窮級數
4B冊 認識公倍數和最小公倍數 公倍數和最小公倍數的關係.
課程九 迴歸與相關2.
Pull-down assay (His-Tag or GST-Tag)
六年級數學科 體積與容量 的關係和單位 白田天主教小學下午校 趙國鴻.
大一英文分級測驗 選修英語檢定測驗.
四種市場結構的類型與比較 完全競爭市場的特徵.
第十一章 相關研究法.
指導老師: 蘇明俊 老師 組長:潘翠娥 組員:張惠雅 葉麗華
新訂賴氏人格測驗 計分說明 文輔室.
四年級 數學科.
第四單元:實驗設計資料 (2) 授課教師:國立臺灣大學政治學系 洪永泰 教授
基礎數學概念評量 柯華葳 編製.
有關於股票報酬及匯率變化對台灣醫療產業市場收益的分析
新訂賴氏人格測驗 計分說明 文輔室.
小學四年級數學科 8.最大公因數.
信度分析 (11/7~11/13) 1.何謂『信度』 2.信度分析步驟.
楊志強博士 國立台北師範學院 測驗品質考驗與TestGraf 98的應用 楊志強博士 國立台北師範學院
學習內容 概說 損失函數 雜音:造成品質變異的原因 訊號雜音比 直交表 回應表與回應圖 田口方法.
Measurement in Research
報告人: 范誠達 指導老師:任維廉 教授 日期:2010/5/4
小數除法.
第五章 估計與信賴區間 5.1 估計概論 估計量的分配 信賴度、信賴區間與最大容忍誤差16
第十章 證券投資組合.
實用數學 長度單位的認識與換算.
五年級數學科 體積與容量 的關係和單位 白田天主教小學下午校 趙國鴻.
Development of the Standardized Tests
MiRanda Java Interface v1.0的使用方法
1-1 隨機的意義– P.1.
試題分析.
二項分配-Binomial 伯努利試驗(Bernoulli Trial) 每一次試驗皆僅有兩種可能結果,不是成功(S),就是失敗(F)。
課程時間:星期二下午2:20-5:20 -> 1:20-4:10 ? 授課教師 逄愛君, 辦公室: 資訊系館 417室 先修課程
信度分析.
第十四章名義資料的數字 描述:關連測量 © Copyright 版權所有:學富文化事業有限公司。本光碟內容僅提供教師於教學上使用,非經本公司許可,禁止複製 (給學生)。感謝老師的配合。
※歡迎挑戰,兩人(隊)中先完成連線即算過關!
大一英文分級測驗 選修英語檢定測驗.
Chapter 13 測量之信度與效度分析. Chapter 13 測量之信度與效度分析 潛在變數與衡量變數的關係 在理論模型中的變數,通常很難直接衡量,我們稱為潛在變數(latent variables) 我們必須找尋或設計出足以代表這些潛在變數的衡量指標,而這些指標則稱為衡量變數(measurement.
因數與倍數.
Test for R Data Processing & Graphics
單元三:敘述統計 內容: * 統計量的計算 * 直方圖的繪製.
統計網路學習館 線性迴歸.
17.1 相關係數 判定係數:迴歸平方和除以總平方和 相關係數 判定係數:迴歸平方和除以總平方和.
7. 三角學的應用 正弦公式 餘弦公式 a2 = b2 + c2 - 2bc cos A b2 = a2 + c2 - 2ac cos B
第三章 比與比例式 3-1 比例式 3-2 連比例 3-3 正比與反比.
Presentation transcript:

信度的意義 信度的性質 信度的類型與考驗方法 影響信度的因素及補救措施 信度概念在教學評量上的應用

信度的概念構圖

信度的意義 概念性的定義 一個測驗結果的一致性,信度越高表示該測驗的結果越一致。 也可說信度高的測驗有良好的穩定性。

信度的定義 計量上的定義 真分數模式 X = T + E (實得分數= 真正分數+誤差分數) 三者變異量的關係 Sx2 = St2+Se2 真實分數的變異數St2佔總變異Sx2的比率,即定義為「信度」

信度的性質 信度是指評鑑工具所獲得「結果」的可靠性,而非指工具本身。 每一個信度的估計值,僅指某一特定類型的一致性,而非泛指一般的一致性。 信度是效度的必要條件,但不是充分條件。 效度的考驗方法包括邏輯的分析與統計的應用,而信度的考驗則完全採用統計方法。

信度的類型與考驗方法 常模參照 重測信度 複本信度 折半信度 庫李信度 α係數 評分者信度 標準參照 百分比一致性 K係數

信度的類型與考驗方法 (常模參照) 重測信度 同一份測驗於不同時間對相同學生前後重複測量兩次,並根據這兩次測驗分數所求得的相關係數。通常用皮爾森積差相關(r) 代表。

信度的類型與考驗方法 (常模參照) 重測信度 例子:一份測驗在不同的時間點測驗同樣五位學生的表現

信度的類型與考驗方法 (常模參照) 複本信度 做法:根據相同編制藍本使兩份題數﹑難度﹑指導說明﹑施測時限﹑與例題舉隅等都相當的測驗拿給同一批學生施測,在依據施測後所得的兩份測驗分數來求相關係數。

信度的類型與考驗方法 (常模參照) 複本信度 例子:五位學生在正本和複本兩種測驗上的表現情形

信度的類型與考驗方法(常模參照) 內部一致性係數可方便得到信度 重測與複本信度都必須進行兩次施測或使用兩份測驗,使用不方便。 折半信度 庫李信度 α係數內部一致性信度

信度的類型與考驗方法(常模參照) 折半信度 利用單獨一次測驗結果,以隨機方式將其分成兩半,再求出這兩半測驗結果間的相關係數。 公式: 說明:rxx為完整測驗的估計信度,rh為原測驗的信度,g為測驗加長或減短題數的倍數。

折半信度舉例 五位學生在一個四個題目的測驗反映情形

信度的類型與考驗方法(常模參照) 庫李信度 須符合三種基本假設 公式: 試題的計分是使用「對或錯」的二元化計分方式 試題不受作答速度的影響 試題都是同質的,亦即都測量到一個相同的因素 公式: 說明:KR20為測驗的信度,n為測驗的題數,P為答對某一題的人數比率,q為答錯某一題的人數比率,為全部題目答對與答錯的百分比的總乘積,S2x為測驗總分的變異數。

庫李信度舉例 五位學生在是非題測驗上的表現情形

信度的類型與考驗方法(常模參照) α 係數 可適用於多元計分的測驗,如學生在五點式量表上的表現。 公式: 說明: α 係數為測驗的估計信度,n為題數,S2i為每一試題得分的變異數,S2x為測驗總分的變異數

α 係數舉例 五位學生在四題五點量表上的表現。

信度的類型與考驗方法(常模參照) 評分者信度 採用不同評分者評閱測驗券。 ρ為評分者信度,d為評定等第之差, N為被評者的人數。 公式: (評分者為兩人的Spearman等級相關) ρ為評分者信度,d為評定等第之差, N為被評者的人數。

信度的類型與考驗方法(常模參照) 評分者信度 公式: (評分者不只兩位的肯德爾和諧係數) 公式: (評分者不只兩位的肯德爾和諧係數) 說明:W為評分者信度,Ri為被評者之評定等第分數,k為評分者人數,N為被評者人數。

兩位評分者使用等第方法評定五位學生的作文成績 評分者信度舉例(評分者為兩人) 兩位評分者使用等第方法評定五位學生的作文成績

評分者信度舉例(評分者為兩人以上) 五位國文教師每人評定九篇作文的等第

信度的類型與考驗方法(標準參照) 百分比一致性指標 分析前後兩次分類決定結果是否為一致,並以百分比之和來表示。 公式: 說明:b和c表示兩次結果都相同的人數, N表總人數

信度的類型與考驗方法(標準參照) K係數 由Cohen(1960)所提出,分析評分者實際評定為一致的次數百分比,與評分者在理論上評定為一致的最大可能次數百分比(經校正誤差後)的比率。 公式: 說明:PA表實際的情形, Pc表預期的情形

百分比一致性指標與K係數舉例 針對40名學生實施數學成就測驗甲﹑乙兩個複本,或僅使用同一份測驗,但分成前後兩次(如學期初和學期末)施測,每次並決定以「答對80%的試題數」作為精熟的標準 測驗結果如下表的資料所示

測量標準誤 亦為表示信度的方法,只要是用來解釋個人測驗分數的意義和比較不同測驗分數的差異。 利用測量標準誤來解釋個人的測驗分數,以推估出個人真實分數的可信範圍。 公式:          SEmeas.為測量標準誤 Sx為測驗的標準差 rxx為測驗的信度係數

測量標準誤舉例 某生在一智力測驗上得到IQ為130,該測驗的信度為.96,標準差為15,求測量標準誤之值為何? 以95%為信賴水準, 則單邊的標準誤等於 3 * 1.96 = 5.88, 約略等於6 則該生真實分數有95%的機會可能落在124至136之間。

測量標準誤 可利用差異標準誤來解釋個人在兩種測驗上的表現,其優劣是否有差異。 公式: SEdiff.表差異的標準誤 SE2meas.x 為x測驗的測量標準誤 SE2meas.y為y測驗的測量標準誤

測量標準誤舉例﹙差異標準誤﹚ 某生參與一項性向測驗,此測驗的分數的M=50, S=10。該生的語文測驗得分為54,此測驗的信度為.85;其數學測驗的得分為62,此測驗的信度為.90,是否真的顯示該生的數學性向高於語文性向? 若以95%為信賴水準,則該生的數學分數須與語文分數相差1.96(5)=9.8分以上,才可以說其數學性向優於語文性向。

信度類型摘要表

信度的影響因素 影響因素 測驗的長度 分數的分布情形 測驗的難度 客觀性 測驗越長,內容愈具有代表性,分數受到猜測因素的影響越小,所以信度越高。 分數的分布情形 分數的分布範圍越大,第二次測量時,分數相對位置改變的可能性就愈小,亦即測量誤差對相對位置的影響愈小 。 測驗的難度 測驗難度適中,能使分數變異程度加大,信度變高 。 客觀性 具客觀性的測驗其評分結果較不會受到評分者的判斷與意見的影響,所以相對而言其穩定性高,信度高。

信度的補救方法 補救方法 增加試題或刪除不良試題 校正相關係數的萎縮 增加試題可以提高測驗的信度,但是需考慮學生是否會因此而疲勞。 對於低信度的測驗最好不要使用,若不慎使用了,則務必進行相關係數萎縮的校正,才能獲取接近真實測量下的真正相關。如斯布校正公式使信度提高

信度概念在教學評量的應用 幫助教師評鑑已發行評量工具的信度 幫助教師增進自行編制之評量工具的信度 教師應熟悉信度的主要概念。 教師應辨別有多種的信度估計方法。 教師應認識某測驗的信度愈高,該測驗越佳。 教師也應進一步認知到即使是相同的測驗,也會因所採用的估計方法不同,所得到的信度係數也會有高低。 幫助教師增進自行編制之評量工具的信度