Download presentation
Presentation is loading. Please wait.
1
2 項目分析
2
項目分析 主要目的: 一份測驗的題目內容是否真正測到想要測量的行為特質.
3
項目分析又稱為題目分析，項目分析可以提升測驗題目的品質，進而提高測驗的信度與效度
項目分析可以依據題目的內容與形式做質性分析，也可以根據題目的統計資料做量的分析
4
質性分析包括內容效度的評量，以及撰寫題目過程的評量
量的分析包括項目難度與鑑別力的分析 項目分析可提高測驗的信度與效度外，在教育測驗上可以利用它來選擇優良的題目，建立考試題庫
5
第一節 質的項目分析(朱,P20-23) 一份良好測驗的品質至少需要兩類專家的合作 1.熟悉主題內容的專家(主題內容理論)
2.熟悉測驗編制的專家(測驗技術) 具備有教育及心理計量背景的專業人員 (教育, 統計, 信度,效度,常模..) 幫助釐清整體的測驗結構, 並指導題目敘 述的問題( 命題結構技巧,誘答力或題目敘 述技巧)
6
2.1.1 內容主題專家 主題內容專家可以透過問卷,調查, 訪談或討論的方式來凝聚共識 =>會出現的現象, 同樣主題不同編制者, 可能出現不同測驗風貌或向度
7
Q: 除了以上所提, 誰還可以是測驗主題的專家?
8
題目內容敘述注意事項 同學嘗試-題目內容敘述注意 王慶福-成人依附風格量表
2.1.2 題目內容敘述 避免否定的敘述( 反向敘述,過去….現在…) 避免雙否定的敘述 注意頻率副詞的使用(特別是李克特式量表) 避免負向情緒的字眼 避免模稜兩可的語句
9
第二節 量的項目分析 在檢驗個題目的鑑別力,難易度,作為刪題的標準,對於日後效度檢驗有幫助( 可以正確辨識受試者能力高低或行為特質強弱的程度) 項目難易度 項目鑑別度
10
2.2.1 項目(題目)難易度 測驗題目難易度的分析，通常以全體受測者答對某試題的人數百分比來表示，這個百分比又稱難度指數，其計算公式如下： R P＝ × 100％ N 式中： P代表項目的難度指數；N為全體受測者人數；R為答對的人數 例如： 在100名預試的學生中，有60人答對第3題，則該題的難度指數為60%
11
2.2.1 項目難易度 指針對某一試題, 其施測取樣中答對人數的百分比 P=1(太容易) P=0(太難) P=.5( 適中) *討論量尺與難度的關係可以參考葉永新 (C5-第一節全部)
12
測驗題目的設計與分配 1.由易而難 2.題目應該呈常態分配(哪類題目應該要多?那些要少?) –要依測驗目的而定
13
肆 測驗分數的分析 就整個測驗的難度來說，它與各個項目的難易度有直接關係，整個測驗的難度，可以由全部測驗分數的分布而得知
肆 測驗分數的分析 就整個測驗的難度來說，它與各個項目的難易度有直接關係，整個測驗的難度，可以由全部測驗分數的分布而得知 一般而言，在一個標準化的樣本中，其測驗分數呈現常態分布曲線。但有一些樣本的測驗分數成偏態，如圖5-3所示
14
在該圖A部分與B部分均屬於偏態，前者分數集中在左端，也就是分數偏低，測驗題目較難，後者就正好相反
測驗項目太困難或太簡單，都不適於測量受測者之間的個別差異
15
左偏,正偏 圖5-3 偏態分佈曲線 右偏,負偏
16
伍 項目難度與測驗題目的關聯 標準化心理或教育測驗的設計，通常設法將所有受測者的能力作最大的區別
伍 項目難度與測驗題目的關聯 標準化心理或教育測驗的設計，通常設法將所有受測者的能力作最大的區別 在編製測驗題目時，有時要根據測驗的目的來規劃題目的難度
17
2. 2. 2 項目鑑別度影響效度 指某個題目能夠正確分辨受試者能力,或所測行為特質的表現的強弱程度
2.2.2 項目鑑別度影響效度 指某個題目能夠正確分辨受試者能力,或所測行為特質的表現的強弱程度. 項目鑑別度目的—作為刪題標準 將沒有鑑別度, 鑑別度不佳,或鑑別相反(P24-的題目予以刪除,而留下有鑑別的題目,進而該測驗才會有效度
18
鑑別相反 能力好的傾向於答錯,能力差的卻達對
19
第三節 認知能力測驗 2.3.1 題目類型:認知能力測驗為顧及標準化過程,多以選擇題方式進行( 年齡V.S.選項數目; 不同的測驗類別可以測量不同的認知能力) 2.3.2 小樣本極端組鑑別度分析 極端組的分法: 小樣本, 高同質性; 常為兩組或三組(條件有三P26) 難易度、鑑別度分析 難易度與鑑別度的關係 刪題標準
20
第三節 認知能力測驗 2.3.3 點二系列相關分析 2.3.4 誘答力分析
21
難易度、鑑別度計算分析
22
小樣本極端組鑑別度分析p25 項目分析以答對某一個題目的人數比率，與效標組的人數比率加以比較
當效標以連續量表來測量時，例如：學業成績、工作成績，或在測驗上的總分，從分數分布中選出高與低效標組，就是極端分數組
23
肆 小樣本的簡單分析 項目分析有時可以利用小樣本來實施 例如： 一個班60名學生接受考試，測驗結果進行題目分析可以採用以下簡便方法
24
先選出高、低分組學生各20名，其餘20名學生為中間組，然後計算這三組學生在各個題目上答對的人數百分比
假設以U代表高分組，M代表中間組，L代表低分組，將這三組學生答對的人數統計出來，結果假設如表5-2所示
25
表5-2 項目難度與鑑別值
26
由該表可知，各題鑑別值為高分組（H）減去低分組（L），各個項目的難度則為高、中、低三組答對學生人數的總和，也就是H＋M＋L
鑑別值愈大，表示此項目愈具有鑑別度
27
在教師自編的學科測驗中，實施題目分析的主要目的，在確定測驗題目命題的優劣，不適宜的題目應予淘汰
選擇題通常要對每一個選項進一步分析，以了解各選項的良劣—誘答力分析 茲以表5-3的資料說明之
28
表5-3 個別項目反應的分析
29
伍 鑑別指數 在前述高分組與低分組受測者中，將每一題答對人數改用百分比來表示，則其百分比的差異就是項目鑑別指數，其計算公式如下：
伍 鑑別指數 在前述高分組與低分組受測者中，將每一題答對人數改用百分比來表示，則其百分比的差異就是項目鑑別指數，其計算公式如下： D＝PH－PL
30
式中： D代表鑑別指數 PH為高分組答對項目人數百分比 PL為低分組答對項目人數百分比 例如： 高分組答對某試題的人占75%，低分組答對該題的人占20%，則其鑑別指數（D）為：.75－.20＝.50
31
鑑別指數愈大，表示受測者對個別試題反應與總分的一致性愈高
以表5-2資料來說明（呈現結果如表5-4）
32
表5-4 以表5-2資料計算鑑別指數
33
將表5-2每一題高分組與低分組答對人數轉換為百分比，因為這兩組都有20人，因此可將表中的數字除以20然後乘上100，就可得到答對的人數百分比
例如： 第一題高分組有12人答對，其答對人數百分比為12÷20×100＝60
34
另外一種計算方法是先將100除以20，得到5，再將5乘上表內的數字，就可以得到答對的人數百分比
例如： 表5-2第2題高分組有20人答對，其答對的人數百分比為20×5＝100
35
表5-5 項目難度與最大鑑別值的關係
36
由表5-5可知，難度適中的項目，其可能的鑑別值比較大
當測驗題目難度等於 .00或1.00時，其鑑別指數最小；當難度等於 .50時，其鑑別指數最大 項目難易適中時，具有最大的鑑別力 有難易度不等於有鑑別力
39
不呈常態,反而不佳
40
刪題標準P30 教師自編成就測驗—P值盡量是.7-.9 心理測驗---------------P值盡量是.5 *都要刪去d<0的題目
針對一般成就測驗(校標參照測驗),有些甚至將d<.2 的題目都刪去(但要注意刪題標準--閱讀書本, P31,最後一段, 以免出現像圖2.1的情形)
41
點二系列相關分析P32 r 愈接近1愈好 二分變項(指題目答案)與連續變項(指總分)求相關—用點二系列相關方法
), 可使用點二系列相關分析(r pb),此值可以表示題目鑑別度 r 愈接近1愈好 其刪題標準 r<.1 或 r<.05
42
二系列相關的計算，涉及答對與答錯題目的平均效標分數、全部效標團體的標準差，與答對及答錯題目的人數比率
rbis的計算公式如下：
43
式中： ：答對某一測驗題X目之受測者，測驗 總分數的平均數 ：所有受測者，不論答對或答錯該測驗 題目總分之平均數 ：所有受測者測驗總分的標準差
44
P：答對之人數百分比 Y：答對人數百分比時，常態分配曲線的 高度 rbis：標準誤差以及二系列相關的計算，都 可以直接使用電腦統計套裝軟體來運算， 以節省時間
45
2.3.4誘答力分析P34 (閱讀課本)
46
第四節李克式量表P35-42
47
第四節 李克式量表 2.4.1 鑑別度分析p35 2.4.2 社會期許分析 2.4.3 一致性分析 t 檢定 效標題 Alpha係數
第四節 李克式量表 2.4.1 鑑別度分析p35 t 檢定 效標題 2.4.2 社會期許分析 2.4.3 一致性分析 Alpha係數 因素分析
48
第五節 其他測驗 2.5.1 適性測驗 項目反應理論分析
49
項目反應理論 在1970年代末期，有一些心理測驗學者致力於測驗項目難度的探討，由於這方面的研究需要複雜的計算過程，因此通常是以電腦來幫助運算
這些研究是以潛在特質模式為基礎的
50
潛在特質是個人潛在的能力，它可以經由觀察個人對測驗題目反應之間的關係，並透過數學的處理而獲得
由受測者在測驗上所獲得的總分，來初步估計其潛在特質。有些學者以項目反應理論（簡稱 IRT）來替代它
51
項目反應理論是針對電腦化適性測驗（簡稱CAT）發展出來的測驗理論
適性測驗是電腦根據受測者的能力，快速運算與選題的功能，給受測者不同鑑別度的題目
52
補充朱P46 最早應用於電腦化適性測驗的項目分析.
由於電腦化適性測驗的智慧型答題過程設計較複雜的選擇(即能力評估),因此要對每一個題目的各方面特質掌握更清楚.其項目分析必須使用特殊的測驗軟體才能完成 一般傳統測驗不建議用IRT方式作項目分析, 因為那將使項目分析過於複雜.
53
IRT的項目分析結果會呈現各題的 P值, 點二系列相關係數, ICC曲線(項目特徵曲線,item characteristic curve) ICC曲線代表的是鑑別度,當曲線是由左下向右上, 鑑別度為正, 斜率愈接近1,鑑別度愈好;當斜率是0 ,曲線會呈垂直線或是水平 當曲線是呈左上,向右下,斜率是負值,也就是鑑別相反的意思( 低分組答對高於高分組) 題目要刪掉
54
拿朱錦鳳pptp46-47
55
在估計個人特質時，應摒除測驗特性的影響，將題目難度與特質分數轉化成相同的量尺，對測驗結果的解釋與預測，有很大的幫助
項目反應理論已被大規模的測驗計畫所採用，為提高估計特質的精確性，可利用電腦程式來估計受測者的潛在特質
56
項目難度與項目鑑別度，可以利用項目測驗迴歸圖來表示
茲假設一個測驗有12個簡答題 表5-6表示這12題總分中，第5題與第11題此兩題正確作答的人數百分比，並將這些資料繪成圖5-4
57
表5-6 項目測驗迴歸之假設性資料
58
圖5-4 項目測驗迴歸曲線 曲線的斜率表示該題的鑑別度 左右位置表示該題的難易度 易 難
59
圖5-5 三個項目的特徵曲線
60
項目特徵曲線（簡稱ICC）的三個參數模式中，每個模式都是由實證資料衍生出來
題目辨別參數（ai）表示曲線的斜率，斜率值愈大，則曲線愈陡峭
61
圖5-5中： 題目1和2的斜率相同，其辨別值也相同 題目3的斜率較小，其曲線比較平坦 題目難度參數（bi）在橫軸上正確反應機率為 .50
62
項目特徵曲線愈趨近於右邊，表示這個項目愈難；愈靠近左邊，表示項目愈簡單
由ICC曲線的位置就可看出題目的難易度 題目2和題目3之（含b2、b3）相同，而題目1較簡單，它需要較少的能力就能有50%的正確反應機率
63
IRT模式在處理多重選擇項目時，常包括第三個參數，就是所謂猜測參數（Ci），它代表做正確反應時，猜測所占的比率
在多重選擇的項目中，即使受測者的能力很低，做正確反應的機率也高於零，這種現象可以由該圖中第三個項目的曲線得知 ( 較難, 斜率低-鑑別度低, 但還是有猜對可能性)
64
項目分析-IRT分析— 要檢視曲線的斜率(角度): 左下往右上 曲線位置的分配密度(呈常態分配最好)
刪題的標準p47,當ICC曲線是…(不符合以上兩個條件)
65
可不看 題目參數與能力兩者的估計方法，通常以連續接近程序來計算，使其一直重複到該值穩定為止 項目反應理論尚有幾個優點：
經由項目資訊方程式來處理測量的信度與誤差 這些函數可由每個題目計算，對於測驗題目的選擇提供良好的基礎
66
參 項目反應理論模式的優缺點 項目反應理論最主要的貢獻，就是測驗結果不受樣本特性的影響，這又稱為題目參數的不變異量
參 項目反應理論模式的優缺點 項目反應理論最主要的貢獻，就是測驗結果不受樣本特性的影響，這又稱為題目參數的不變異量 項目反應理論的基本概念，是項目參數在計算不同能力受測者團體樣本時保持不變
69
2.5.2 速度測驗P47 測速度的測驗,題目通常都是很容易的,所以無所謂鑑別力之分,通常不需要做難度與鑑別力分析
70
第六節 取樣及刪題比例 2.6.1 效度縮水P48 (閱讀課本) 項目分析的取樣要考慮 1.取樣數量,不要少於50
第六節 取樣及刪題比例 2.6.1 效度縮水P48 (閱讀課本) 項目分析的取樣要考慮 1.取樣數量,不要少於50 2.刪題不要多於原題數的1/3,否則都會造成效度縮水 影響效度縮水通常有三個原因
71
編制測驗三次取樣過程(SAMPLE都需不同)—進行交叉效度
2.6.2 交叉效度- 運用不同的取樣來驗證題目測驗效度的準確性—是進行項目分析及效度測驗的過程 項目分析要進行第一次取樣(判斷每一個題目是否有效,: 刪掉無效題,保留有效題) 之後,進行第二次取樣,進行測驗信效度分析 第三次取樣,建立常模
72
第七節 項目誤差- 項目誤差定義: 測驗的任一個題目 因為不同的族群而產生不同的鑑別度或難易度的情況 若有此情形,會考慮刪題 項目誤差是測驗誤差的來源,影響測驗效度
73
第七節 項目誤差 明顯的,通過第I題的B群人數遠多於A群人數
75
思考題目 試述測驗經項目分析後所得到較少題數的新測驗，為何反而比較有效。 討論項目難易度及項目鑑別度的關聯性。
討論題目平均難易度對測驗的重要性。 試述項目難易度和錄取率的關係。 試述次數分析在項目分析的用意。 試述教師自編測驗適用的項目分析方法。 試述t測驗在項目分析的用意。
76
思考題目(續) 試述Coefficient α在項目分析的用意。 試述項目分析的目的。
試比較Phi r、Point-Biserial r、Pearson r的差異。 試述IRT與其他項目分析方法的差異。 討論速度測驗的項目分析。 試述Cross Validation如何驗證及其重要性。 討論Differential Item Functioning的概念。
Similar presentations
