不同認知診斷適性測驗演算法 結合知識結構之成效比較

Slides:



Advertisements
Similar presentations
第二单元 大珠小珠落玉盘 阅读与欣赏 复习要点 1. 了解古典诗词文学形式的特点。 2. 概括古典诗词中人物形象、景物形象的特点;理解古典诗词中抒发的 情感和思想内涵。 3. 了解作品绘景、叙事、写人、抒情所运用的技巧,品味作品中精妙的 语言。 4. 掌握有关修辞和动静结合以及衬托等知识。 复法指导.
Advertisements

工程倫理. Outline  工程師對雇主 ( 業主 ) 的責任  工程師倫理守則  案例分享 孟加拉大樓倒塌 過勞死 舊金山灣區捷運系統.
汽車美容介紹. 汽車的外部構造 哪些是汽車 ?? 汽車 哪些是汽車 ?? 腳踏車 汽車 哪些是汽車 ?? 機車 汽車.
肺 痨 龙华医院 茅建春. 一、概述 (一)定义:肺痨是具有传染性的慢性 虚弱性疾病。 临床特征:咳嗽、咳血、潮热、 盗汗、身体逐渐消瘦。
步步为营 面面俱到 步步为营 面面俱到 —— 高考语文首轮复习策略 章惠西 浙师大附中. [2014] 阅读下面文字,根据要求作文( 60 分) 门与路,永远相连。 门是路的终点,也是路的起点。它可以 挡住你的脚步,也可以让你走向世界。 大学的门,一边连接已知,一边通向未知。学习、探索、创 造,是它的通行证;大学的路,从过去到未来,无数脚印在此交.
月子保姆理论知识试卷.
3-1 食物中的養分與能量 趣味科學實驗:膨糖的製作 3-2 酵素 重要性 可改變代謝作用反應進行的快慢 成分 蛋白質 影響因素
第七章 商业银行资产负债管理理论.
大漠孤烟直,长河落日圆。 ——唐 王维.
聚焦文化竞争力.
中文輸入說明 老師:陳竹正.
職務法庭與 法官退場機制 行政訴訟及懲戒廳報告
招考新政与高中学校面临的挑战 芜湖市教育科学研究所 俞宏胜
任科教师: 孟老师 办公室:二楼成教2 时 间: 14年5月 电 话:
壹、緣起 在「夢想大作戰」的主題裡,主要分為「個人挑戰」與「小組挑戰」兩個部份,當個人挑戰陸續完成後,緊接著進入小組挑戰的階段。
腹有诗书气自华 邓 兵 2014年6月12日.
古代四大美女de风云 沉鱼 . 西施 落雁 . 王昭君 闭月 . 貂禅 羞花 . 杨玉环 编者:周惠婷,李雪蓉
义务教育课程标准实验教科书(人教版)语文七年级下册
從閱讀談起 報告人:陳大任.
加一加也可產生創意! Open 獅甲ちゃん~校園特色心發現
如何写论文.
概其要、析其理 ——议论文事实论据修改 昌平二中 王丽娟
肝硬化门脉高压性首次 出血的预防.
常见肌肉骨骼疾患的康复治疗.
“悦”读,飞越 “考场” 心神飞越 温州中学 郑可菜.
老子的素朴 厦门大学计算机科学系 庄朝晖.
一、银行保证金质押 二、理财产品质押 三、银行卡被盗刷的责任问题 四、票据纠纷
活力 射 四 简报 种子发芽咯 de 国培(2015)小学数学四组 3/11/2017.
第一部分 钢筋专业知识 第一单元 基本知识 及相关概念 第二单元 平法识图(03G101) 第三单元 钢筋算法.
第三章 企业战略策划 第一节 企业整体战略策划(一).
高中生物命题 富阳市二中 赵素萍.
3.囚绿记.
探究分解过氧化氢制氧气的 反应中二氧化锰的作用
会议部工作职能 百万身价客户保障计划.
防墜安全與自殺防治 臺北市政府自殺防治中心 莊東憲 組長.
漫漫人生 主办:平远县田家炳中学 总第一期 2008年2月 主编:初二(11)班 肖遥.
99年度全國金融基礎教育 融入教學成果發表會 高雄市新上國小 黃嘉源主任 賴秋江老師.
讲演者 小刘,雅安职业技术学院医学系学生、也是雅职院兼职团队指 导者。喜欢交流演讲与交流,口才,参加雅安大学生创业大赛, 四川省大学生微电影大赛 ,喜欢表演,主持。话剧。也进修西 南石油大学艺术学院口才班 我的qq 电话:
徐志摩 我所知道的康橋 指導老師:羅 夏美老師 組員:翁瑜軍、洪乙民、郝如萱 陳芷榆、吳禺萱.
专题三 从农民工到新生代农民工的发展演化特点及形成的原因、引发的社会问题和解决方法分析
大地醫療團隊- 微生物製劑環保與農業應用.
青春足迹阅读- 男生贾里/哈利波特的分析 ——张桐需小组.
文學與生活-期末報告 赤壁之戰 組員名單 : 4A2L0031 王柔之 4A2L0033 劉兆偉 4A0L0063 謝商裕
校園霸凌行為定義 與特質 白河國小 林水雲.
《现代汉语语法研究》第三讲 现代汉语语法的句法分析.
主辦單位:彰化縣政府教育處 承辦學校:彰化縣大村國中 時 間:102年11月1日(五) 教學者:袁玉芳老師 孫寶蓮老師
欢迎欢迎! 热烈欢迎!.
娄黎星 项目管理 娄黎星
報告人:許清陽 台南市永康區勝利國民小學校長
屏東縣105年度 友善校園事務與輔導工作- 國中適性輔導工作專業知能研習(初階課程) 桌遊在班級經營與學生輔導 之應用與連結
班主任专业素养 漫 谈 普陀区教育局德研室 陈镇虎
2.3 氧气.
资产宣传推介手册 2017年10月.
教育研究的新趨勢 楊深坑 國立中正大學講座教授.
災害性天氣之探究─ 颱風 文賢國小 李同立老師.
皇帝的新装 知识窗口 整体感知 合作探究 总结提高 创新发展. 皇帝的新装 知识窗口 整体感知 合作探究 总结提高 创新发展.
用相频曲线测阻尼系数的探索 指导教师 陈乾 吉新程.
雪地里的小画家.
人工智慧應用蟲體辨識 亞洲大學 資訊工程學系 學生:殷聖展、廖哲毅、吳京育 指導教授:蔡志仁 教授
繪畫者:哈利‧布里斯 作者:朵琳‧克羅寧 編譯者:陳宏淑 出版社:上誼文化實業股份有限公司
設計者:台中市 吳嵐婷 台北市興雅國中 林壽福
檢示動植物組織的過氧化氫酶對分解過氧化氫的催化作用
第四章 X射线衍射线束的强度(II) §4. 6 结构因子的计算 §4.7 粉末衍射 §4.8 多重性因子 §4.9 洛仑兹因子
蛋白质的结构与功能.
校園霸凌行為定義 與特質.
第七章 随机方法.
南科特定區土地開發與OT區段徵收之研究 -以ABC區為例
戒波罗蜜多.
性愛 與婚姻倫理 講授人:陳志蘭 .
社會學習領域 課綱修正宣導簡報 臺北市社會領域輔導小姐.
Presentation transcript:

不同認知診斷適性測驗演算法 結合知識結構之成效比較 不同認知診斷適性測驗演算法 結合知識結構之成效比較 國立臺中教育大學教育測驗統計研究所理學 碩士論文 研 究 生:卓淑瑜 指導教授:郭伯臣 博士 吳慧珉 博士 中華民國一百年六月 報告者:顏碧玲 101.10.2

大綱 研究動機 研究目的 名詞釋義 文獻探討 研究方法 研究結果 結論與建議

研究動機(1/2) 自從No Child Left Behind Act教育改革法案實施以來規定提供教師、學生與家長測驗診斷結果,以了解每一位學生在主要學科進步情形等各項資訊,也就是提供學生哪些概念他們已經掌握,以及哪些概念還需要進行補救教學(Cheng, 2009)而認知診斷就是一種可以提供了這類訊息的模式。 施測者可藉由受試者的試題反應組型與Q矩陣推估受試者具備或缺乏哪些認知屬性,進而據此瞭解受試者的學習狀況,進行補救教學(de la torre, 2008) 。因此,本研究欲探討不同 Q 矩陣的設定,是否會影響認知診斷適性測驗的診斷辨識率。

研究動機(2/2) 認知診斷適性測驗的主要研究著重在選題法上的探究,這些選題法在測驗初始階段因獲得的訊息較少,以致於診斷辨識率不高。 本研究主要是結合知識結構於認知診斷適性測驗,改善認知診斷適性測驗選題法,藉由模擬研究探討在選題的過程中,將選到的試題加入其知識結構所提供的訊息進行診斷,是否能提升認知診斷適性測驗的診斷辨識率。

研究目的(1/1) 比較不同Q矩陣在認知診斷適性測驗上的診斷辨識率。 比較不同選題法在認知診斷適性測驗上的診斷辨識率。 開發結合知識結構之認知診斷適性測驗選題法。 比較結合知識結構之選題法在認知診斷適性測驗上的診斷辨識率。

名詞釋義 認知屬性:在認知診斷模式中,認知屬性表示測驗所測量的概念或技能,通常以二元向量1或 0來表示受試者精熟或非精熟認知屬性,在本研究的實徵資料中,測驗的概念即為認知屬性。 診斷辨識率:診斷辨識率是用來估計受試者的認知屬性狀態是否與模擬樣本資料的認知屬性狀態一致,在這樣的概念之下,診斷辨識率是指判斷的正確性,也就是判斷的百分比愈高,其估計的結果愈準確。

文獻探討(1/7) 認知診斷模式: 可以用來診斷受試者是否具備教育測驗所需的認知概念,不同於試題反應理論只是用一個廣義的潛在特質來代表受試者的能力,認知診斷模式是利用一個潛在向量 a¡=(α¡1,α¡2…….. α¡k)來表示受試者是否精熟每一個認知概念,其中 α¡k=1表示第i位受試者精熟第k個認知概念, α¡k=0 則表示未精熟第 k個認知概念。

文獻探討(2/7) 目前已有許多認知診斷模式被開發且應用,例如規則空間模式、二元技能模式 、貝式網路推論模式、DINA模式、NIDA 模式、DINO模式 、融合模式、HO-DINA模式,本研究使用的兩種模式:DINA模式與HO-DINA模式。 所有的認知診斷模式都需由專家來界定每個試題所測量的認知概念,也就是Q矩陣(Tatsuoka, 1985)

文獻探討(3/7) Q矩陣大小為 Jxk,J為試題數,K為屬性數,其中 q jk代表要解決試題 j,是否需具備認知屬性k,公式定義如下:

文獻探討(4/7) DINA模式:是許多認知診斷模式評估方法的基礎,適合用於二元計分的認知診斷測驗。DINA 模式假設受試者答對試題的機率,會受到粗心(slip)及猜測(guess)兩個參數影響,其試題反應函數表示如下 : HO_DINA模式:de la Torre與Douglus(2004)為了減少DINA模式在估計受試者認知屬性計算上的負擔,藉由觀察受試者認知狀態與其能力間的關係,提出higher-order DINA模式(HO_DINA),認為受試者認知屬性的分布是在給定高階的潛在特質 i下,假設元素 i條件獨立,其精熟屬性的機率公式表示如下

文獻探討(5/7) 電腦化認知診斷測驗選題法:Xu, et al. (2003)的研究是在Fusion模式中提出兩種選題法:KL法與SHE法,結果顯示SHE法的表現優於KL法,但曝光率部份是KL法比較好。因此Cheng (2009)提出兩種改善KL選題法:PWKL法與HKL法,並應用於DINA模式中與SHE法進行比較,結果顯示PWKL法與HKL法皆優於SHE法。 本研究欲探討不同試題參數與不同Q矩陣的情況下,PWKL法與HKL法的表現是否仍優於SHE法。

文獻探討(6/7) 電腦化認知診斷測驗選題法: 基於 Kullback-Leibler訊息的 KL法 基於 Shannon Entropy的 SHE法 基於 Kullback-Leibler訊息的後驗加權KL法 合併 Kullback-Leibler訊息與潛在狀態間的距離法

文獻探討(7/7) 以知識結構為基礎之適性測驗: 順序理論: Airasian與Bart (1973)提出的順序理論(ordering theory, OT)常被用來建立知識結構,其定義試題間的順序的方法,主要是探討困難的上位試題答對,而簡單的下位試題答錯這種不合理狀況發生情形,來判斷試題的順序性。 以知識結構為基礎之適性測驗選題法:是依據建構出的知識或試題結構來選題,並利用結構所提供的訊息進行診斷及節省施測題數(吳慧珉,2006;劉育隆等人,2006)

研究方法(1/10) 本研究旨在探究結合知識結構之認知診斷適性測驗是否影響估計受試者認知屬性的診斷辨識率,並比較不同選題法在不同Q矩陣設計下估計診斷辨識率的成效。 結合知識結構之認知診斷適性測驗演算法:本研究將此選題法稱為PWKL_KSAT法、HKL_KSAT法、SHE_KSAT法。

研究方法(2/10) 本研究為了讓初始階段獲得較多的訊息,在初始階段是以預測精準度 0.7 時的閾值來建立知識結構,然而固定此閾值會因加入太多不確定性的訊息而導致後續診斷辨識率無法提升,因此,本研究隨著施測試題的增加,控制知識結構的閾值逐漸變小,以減少不確定性的訊息加入。

研究方法(3/10) 本研究各個模擬實驗中,受試者樣本皆為同一群受試者,因此,隨著Q矩陣平均測量的屬性數越多,受試者的平均通過率會相對地越低。然而在題庫試題為較難的情況下,兩試題間違反順序的機率在每個試題皆相差不多,以致於其知識結構會比較弱,若在選題的時候閾值降低的幅度是固定的情況下,納入預測試題的數量會隨著知識結構越弱而越少,而降低結合知識結構選題法所帶來的效益,因此,閾值的變動幅度,應隨著題庫試題平均通過率而有所不同。

研究方法(4/10) 本研究先確定研究主題,進行與研究主題相關的文獻蒐集與探討,提出演算法設計及改良,並將其程式化,再依據研究所設定之實驗情境產生模擬資料進行模擬研究,比較在不同選題法與不同Q矩陣設計下,受試者認知屬性的診斷辨識率估計成效,最後撰寫研究結果與建議,研究流程如圖3-1。

研究方法(5/10) 實驗設計 : 本研究以模擬研究比較不同Q矩陣在不同選題法下的診斷辨識率成效,以及探討結合知識結構之選題法的診斷辨識率成效,以下針對模擬資料進行說明。

研究方法(6/10) 本研究是以DINA模式為基礎的認知診斷適性測驗,透過模擬研究方式探討不同實驗設計的成效,其模擬資料變項與估計方式設計如表 3-3,以下針對實驗設計的變項進行詳述。 一、Q矩陣與試題參數設計︰本研究分別設定每個試題有 20%、30%、40%和60%四種機會測量到每一個屬性,也,Q 矩陣的設計如表 3-4 所示。試題參數分別設定粗心參數 s 與猜測參數 g 皆服從均勻分布U(0.05,0.25)。

研究方法(7/10) 二、受試者認知屬性 三、模擬作答反應資料 ︰本研究利用DINA模式計算出受試者在每一題的答對機率,再透過隨機產生之均勻分配U(0,1)判定受試者是否答對該題來產生受試者的作答反應。 四、模擬次數︰本研究在每個Q矩陣設計下,皆產生 10 個不同作答反應資料集,並且將每個資料集模擬 5 次適性測驗,以降低當選題時,計算選題指標一樣的情況下,從中隨機選題所造成隨機效果,以及降低估計時計算 MLE值相同的情況下,從中隨機選擇受試者潛在認知狀態所造成的隨機效果。

研究方法(8/10) 實徵資料驗證 ︰本研究使用的實徵資料為國立臺中教育大學教育測驗統計研究所執行之「團班教學和個別指導之教材與評量以及其相關行政管理系統計畫」的研究成果,選擇國中第三冊第五單元「根式的運算」 ,該測驗試題數為32題、概念數為8個,施測人數共319人, 概念與試題對照表和Q矩陣設計分別如表3-6與表3-7所示,接著利用OX軟體估計試題參數,試題參數如表3-8所示,試題選項分析如表3-9所示,並以專家的判斷作為受試者認知屬性的真值。

研究方法(9/10) 評估指標 :本研究以模擬產生之受試者認知屬性當做真值,與估計的受試者認知屬性進行比較,使用平均屬性辨識率(mean of each attribute accuracy)與整體屬性辨識率(whole pattern accuracy)作為評估指標,計算方法如下:一、平均屬性辨識率 二、整體屬性辨識率

研究方法(10/10) 研究工具 :本研究使用的工具有MATLAB軟體及OX軟體 MATLAB軟體:本研究使用MATLAB 2008a來撰寫認知診斷適性測驗選題演算法,以及產生受試者認知屬性狀態,配合不同Q矩陣設定,計算答對機率值,進而模擬作答反應,並用來計算辨識率。 OX軟體:本研究使用OX軟體,並以de la Torre (2008)撰寫之DINA模式程式,估計實徵資料的試題參數。

研究結果(1/12) 一、不同 Q矩陣的診斷辨識率:本研究以不同的Q矩陣設計共分成四種結果來呈現,表4-1至表4-2分別為測驗長度為12題時,受試者在不同Q矩陣設計下的平均屬性辨識率與整體屬性辨識率。 表4-1 不同 Q矩陣設計的平均屬性辨識率

研究結果(2/12) 不同Q矩陣設計下,Random法、KL法、PWKL法與HKL法會隨著Q矩陣平均測量屬性數越多,診斷辨識率越低;但 SHE 法的診斷辨識率表現並無太大差異。

研究結果(3/12) 不同選題法的診斷辨識率 :本研究依不同選題法共分成五種結果呈現,圖4-1至圖4-8分別為平均每題測量1.2、1.8、2.4、3.6個屬性的Q矩陣之平均屬性辨識率與整體屬性辨識率變動圖。 在不同選題法中,診斷辨識率以PWKL法與HKL法表現最佳,SHE法次之,KL法再次之,Random法表現最差

研究結果(4/12) 結合知識結構選題法的診斷辨識率:本研究依結合知識結構選題法共分為SHE_KSAT 法、PWKL_KSAT 法與 HKL_KSAT法,並分別與未加入知識結構之選題法進行比較,結果成效詳述如下。

研究結果(5/12) 由表4-3與表4-4可知,結合知識結構在PWKL法與HKL法的表現皆比原本選題法來得好。

研究結果(6/12) 實徵資料驗證 : 本研究使用的實徵資料其測驗試題數為 32 題、概念數為 8 個,施測人數共319 人,圖 4-35 與圖 4-36 為在不同選題法的平均屬性辨識率與整體屬性辨識率變動圖。圖 4-37 與圖 4-38 為 SHE 法與 SHE_KSAT 法的平均屬性辨識率與整體屬性辨識率變動圖。圖4-39與圖4-40為PWKL法與PWKL_KSAT法的平均屬性辨識率與整體屬性辨識率變動圖。圖 4-41 與圖 4-42 為 HKL 法HKL_KSAT 法的平均屬性辨識率與整體屬性辨識率變動圖。

研究結果(7/12)

研究結果(8/12) 由圖4-35與圖4-36可知,在實徵資料的情況下,PWKL法與HKL法明顯優於KL法與Random法SHE法也明顯優於KL法與Random法PWKL法與HKL法也優於SHE法,PWKL法與HKL法之間差異不大。

研究結果(9/12)

研究結果(10/12)

研究結果(11/12) 由圖4-37與圖4-38可知,在實徵資料的情況下,SHE_KSAT法優於SHE法。由圖 4-39 與圖 4-40 可知,在實徵資料的情況下PWKL_KSAT 法在初始階段試題少時優PWKL 法,然而隨著試題增加 PWKL_KSAT法表現並不穩定,但整體而言,其表現是有比PWKL法來的好。

研究結果(12/12) 由圖4-41與圖4-42可知,在實徵資料的情況下,HKL_KSAT 法在初始階段試題少時亦優於 HKL 法,然而隨著試題增加HKL_KSAT法表現也並不穩定,但整體而言,其表現是亦比HKL法來的好。

結論與建議(1/4) 結論 : 一、在Random法中,受試者的平均診斷辨識率與整體診斷辨識率會隨著Q矩陣平均測量屬性數越多,辨識率越低。 二、在KL法、PWKL法、HKL法中,平均測量1.8個屬性的Q矩陣下,受試者的平均屬性辨識率與整體屬性辨識率最佳。在平均測量1.8、2.4、3.6個屬性的 Q 矩陣下,受試者的診斷辨識率隨著 Q 矩陣平均每題測量的屬性數越多逐漸降低。 三、在SHE法中,四種Q矩陣設計皆有一致的診斷辨識率,並無太大差異。

結論與建議(2/4) 四、在不同Q矩陣設計下,五種選題法以PWKL法與HKL法表現最佳;SHE法也有不錯的診斷辨識率,只是隨著測驗題數的增加,表現無 PWKL法或HKL法好;PWKL法、HKL法與SHE法皆明顯優於KL法與Random法。 五、在不同 Q 矩陣設計下,隨著 Q 矩陣平均測量的屬性數越多,SHE_KSAT 法表現會逐漸比 SHE 法還差;反之,隨著 Q 矩陣平均測量的屬性數越PWKL_KSAT 法表現會逐漸比 PWKL 法還要好,HKL_KSAT 法表現也逐漸比HKL法還要好,因此建議將知識結構結合在PWKL法與HKL法中。

結論與建議(3/4) 建議 : 一、本研究Q矩陣為均勻分布平衡設計,也就是測量每個屬性的試題總數一致,建議後續研究者可以探討Q矩陣不平衡的設計,是否會影響診斷辨識率。 二、本研究只模擬整份測驗為6個認知屬性的情況,建議後續研究者可以探討當整份測驗測量的屬性數越多,是否會影響診斷辨識率。 三、本研究的試題反應函數為DINA模式,建議後續研究者可以探討其他模式的估計成效。

結論與建議(4/4) 四、本研究為同一受試者在不同Q矩陣下的診斷辨識率,建議後續研究者可以探討不同受試者在同一個Q矩陣設計下適性測驗診斷辨識率的成效。 五、本研究終止測驗的條件是以固定測驗長度為 12 題,建議後續研究者可以探討其他CAT的終止條件。 六、本研究並未探討試題的曝光率,建議後續研究者可以探討試題的曝光率。

報告結束 敬請指導