質性與量化研究方法 序列分析工作坊 陳勇汀 2016/9/5 政治大學圖書資訊與檔案學研究所 數位圖書館與數位學習實驗室

Presentation on theme: "質性與量化研究方法 序列分析工作坊 陳勇汀 2016/9/5 政治大學圖書資訊與檔案學研究所 數位圖書館與數位學習實驗室"— Presentation transcript:

1 質性與量化研究方法 序列分析工作坊 陳勇汀 2016/9/5 政治大學圖書資訊與檔案學研究所 數位圖書館與數位學習實驗室
投影片網址

2 大綱 前言：為什麼要做序列分析？ Part 1. 使用與開發編碼表 Part 2. 行為觀察與記錄 Part 3. 觀察者內部一致性信度檢定

3 前言：淺談數位學習研究設計 為什麼要做序列分析？

4 準實驗研究法於數位學習的應用 實驗組 控制組 研究者 (教師) Experimental Group Control Group
Experimental Group 實驗組 Control Group 控制組

5 研究設計 研究場域 自變項 前測 後側 實驗組 依變項 實施策略 依變項 比較：統計分析 控制組 依變項 維持原樣 依變項

6 ? 依變項的觀測 認知的改變 實施教學策略 行為的改變
行為的改變

7 行為模式分析 Bakeman, R. & Gottman, J. M. (1997)
序列分析介紹 Bakeman, R. & Gottman, J. M. (1997) Bakeman, R., & Gottman, J. M. (1997). Observing interaction: an introduction to sequential analysis. Cambridge: University Press.

8 記錄行為序列 (behavioral sequences) 評估觀察者一致性 (observer agreement) 呈現觀察資料
Bakeman(1986) 序列分析介紹目錄 介紹 開發編碼表 (coding scheme) 記錄行為序列 (behavioral sequences) 評估觀察者一致性 (observer agreement) 呈現觀察資料 分析序列資料: 第1步 分析事件序列 (event sequences) 分析時間序列 (time sequences) 分析跨分類事件 (cross-classified events) 結語 Bakeman, R., & Gottman, J. M. (1986). Observing interaction: an introduction to sequential analysis. Cambridge: University Press.

9 觀察外顯行為的轉變 A B C D E F https://www.facebook.com/womaninthestriped/
條紋衣女子

10 Part 1. 使用與開發編碼表

11 依變項的選擇 實施教學策略 ? A. 認知分類架構 C. 問題解決討論 B. 知識建構層次

12 A. 認知分類架構表 (1/3) 1949~1953年，布魯姆(Bloom)等人藉用生物學的分類法觀念將教育目標分類。
1960年提出認知領域的教育目標分類表，將認知領域 的教學目標的類別，由最簡單到最複雜，由具體到抽 象，排成六個層次，依序為知識、理解、應用、分析 、綜合與評鑑，每一個較簡單的類別都是想掌握下一 個較複雜的類別的先決條件。 因應教育理論的演進，布魯姆教育分類法也在2001年 出刊修訂版，先依知識向度和認知歷程向度形成一個 二維矩陣後，再進行教育目標的分析。 Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives. New York: Longman.

13 A. 認知分類架構表 (2/3) 鄭蕙如、林世華（2004）。Bloom 認知領域教育目標分類修訂版理論與實務之探討─ 以九年一貫課程數學領域分段能力指標為例。 臺東大學教育學報，15（2），247–274。

14 認知分類架構表(Revised Bloom’s Taxonomy)
編碼 階段 操作 B1 Remember 記憶 從長期記憶中找尋相關知識。 B2 Understand 了解 瞭解所需的知識；根據過去經驗串聯新的知識。 B3 Apply 應用 透過某些流程或應用來完成一件任務或解決問題。 B4 Analyze 分析 將知識拆解與分析其成分，並且指出部分成分與整體知識之間的關聯。 B5 Evaluate 評鑑 根據準則與標準進行判斷或評鑑。 B6 Create 創作 將不同的要素合為一體，並且完成一個完整與有用的整體。透過心智流程重組不同的要素，完成一個新的架構。 B7 Others 其他 與討論無關的主題

15 B. 互動分析模型 (1/2) Gunawardena, Lowe和Anderson等人，於1997年提出互動分析模型(Interaction Analysis Model)，簡稱IAM 很多研究證明使用IAM這一套編碼系統能夠有效地分 析線上平台的討論內容，也增加了量化內容分析研究 的有效性，許多關於非同步線上討論平台的研究，也 都使用IAM為編碼方案 從1997年至今，IAM這一套內容分析工具已經成為探 討「線上討論內容深度和模式」的一個重要依據。 Gunawardena, C. N., Lowe, C. A., & Anderson, T. (1997). Analysis of a Global Online Debate and the Development of an Interaction Analysis Model for Examining Social Construction of Knowledge in Computer Conferencing. Journal of Educational Computing Research, 17(4),

16 互動分析模型(Interaction Analysis Model，IAM)
B. 互動分析模型 (2/2) 互動分析模型(Interaction Analysis Model，IAM) 編碼 階段 操作 K1 資訊的分享/比較 陳述觀察或意見；陳述同意參與者 K2 發現與探索參與者之間的不一致 辨識不一致的意見；詢問與回答問題以釐清不一致地情況 K3 協商意涵/共同建構知識 協商字辭的意涵；協商各種意見的相關重要性 K4 驗證與修正已存在的經驗與知識 驗證提出的新知識、認知架構、個人經驗與其他資源相對照 K5 同意/運用新建構的知識 總結一致的意見與陳述認知，以展現新的知識建構 K6 其他 討論跟知識建構不相關的事情

17 C. 問題解決討論行為編碼表 (1/2) 為觀察成員在小組封閉式學習社群環境中合作學習討論歷程，用Hou等人(2008)提出問題解決討論行為序列分析編碼表，來了解合作學習討論行為歷程之差異 該編碼係依據探討問題解決行為歷程相關研究（ Mayer, 1992; D'Zurilla & Goldfried, 1971），歸納 出研究共同之處，形成問題解決行為編碼表。 Hou, H.-T., Chang, K.-E., & Sung, Y.-T. (2008). Analysis of Problem-Solving-Based Online Asynchronous Discussion Pattern. Educational Technology & Society, 11(1),

18 C. 問題解決討論行為編碼表 (2/2) 問題解決行為歷程序列分析編碼表 編碼 階段 運作 P1 定義問題 具體描繪問題或釐清問題的定義
尋求解決方法 針對問題提供（詳細/簡略的）資訊或解決方法 P3 分析與歸納 分析、比較與評論他人提出的意見、解決方法以及資訊 P4 統整與結論 歸納先前的提議或意 見，並提出結論 P5 其他 與主題無關的討論

19 Part 2. 觀察行為的記錄

20 數位學習的行為記錄 Morea 現場觀察與記錄 學習歷程記錄 80638 88024 同步討論記錄 非同步討論記錄

21 TechSmith Morae Morae Recorder Morae Observer Morae Manager

22 xAPI (eXperience API) xAPI定義了學習記錄儲存與追蹤的介面格式規範
學習者在學習平台(LMS)的學習經驗記錄(或其他 動作)能儲存在學習記錄資料庫(LRS)中，儲存在 LRS上的學習資料可以在不同LRS上流通。 LMS xAPI 學習 記錄 LRS 電子書櫃 LMS xAPI 教學活動 LMS xAPI 學習分析 學習記錄 數位學習服務

23 在LRS上的xAPI記錄 主詞: 操作者 動詞: 事件編碼 受詞: 動作細節 Anonymous joined world
‘Example Scene’ 受詞: 動作細節

24 遊戲記錄 Code Behavior FT Fight PT Pets TL Tools/Items TK Talk 合作學習的討論 GP
Group-work TR Trading of items/tools TS Conducting tasks LF Learning in fighting LT Learning in tasks OT Others 紐約說話島 Talking Island Hou, H.-T. (2012). Exploring the behavioral patterns of learners in an educational massively multiple online role-playing game (MMORPG). Computers & Education, 58(4), doi: /j.compedu

25 問題: 行為記錄是否受到介入？ 老師要介入嗎？

26 彙整行為記錄 時間 早 同步討論 非同步討論 晚 個人資料 匿名處理

27 多資料來源的處理方法 早 晚 時間 來源 事件 2016/9/6 10:05 同步聊天室
ok, Stu A跟Stu B的看法都很棒，我想我們應該彙整一下 2016/9/6 10:07 那我整理一下po在討論區 2016/9/6 10:12 好的，麻煩你了 2016/9/6 10:20 非同步討論區 討論彙整報告：…… 2016/9/6 10:22 我寫完囉，請大家到討論區看一下是否有打錯的地方吧！ 晚

28 例子：行為記錄與編碼表格 匿名 事件編號 學生編號 討論內容 1 StuC 晚安 2 StuB 喔！ 對於討論有啥方向嘛？ 3 沒方向 4
喔！ 我正在研究 老師那兩邊文章 5 有沒有規定題目要和數位學習有關呀 6 應該是選各大方向來討論 然後大家在添加東西 7 前瞻性議題~~好難 8 前瞻研究議題，進行更深入的資料蒐集，並撰寫分組心得報告，報告內容應包括(1)為什麼對於這個議題感興趣；(2)這個議題對於數位學習的重要性；(3)目前這個議題的研究及發展概況為何？；(4)這個研究議題未來可能的發展方向。共 9 好個前瞻性！ 10 另外兩個人不理我們 11 所以題目不一定要跟 數位學習有關摟 12 只要我們有興趣的嘛？？？？ 13 其實雲端就算前瞻吧~~但資料少 14 因為老師的兩個文章都是跟數位學習有關 匿名

29 實作：編碼練習

30 Part 3. 觀察者內部一致性 信度檢定

31 行為編碼的流程 1. 行為記錄 4. 行為編碼 3. 研究者 6. 編碼結果 5. 調整編碼表 2. 編碼表

32 兩位編碼者的意見衝突 這一定是P2編碼 這應該是P3編碼 P2?P3? 鳥山明，ドラゴンボール

33 符合百分比 兩位評估者獨立診斷比例分佈的假設舉例 評估者1 評估者2 總合 陽性 陰性 0.72 0.08 0.80 0.18 0.02
0.20 0.90 0.10 1.00 唐万、胡俊、张晖、吴攀、贺华（2015）。Kappa 系数: 一种衡量评估者间一致性的常用方法。上海精神医学，27（1）。上網日期：2015年5月31日，檢自：

34 Cohen's Kappa Cohen's Kappa係數是對編碼者間在分類編碼上符合性的一種統計方法。
一致性程度 < 0.4 差 0.4 ~ 0.6 一般 0.6 ~ 0.8 好 > 0.8 極佳 Cohen, J. (1960). A coefficient of agreement for nominal scale. Educational and Psychological Measurement, 20(1), 37–46. doi: /

35 Cohen's Kappa 兩位評估者獨立診斷比例分佈的假設舉例 評估者1 評估者2 總合 陽性 陰性 0.72 (p11)
1.00 觀測一致性：測量結果一致的百分比 期望一致性：測量結果預期相同的機率 唐万、胡俊、张晖、吴攀、贺华（2015）。Kappa 系数: 一种衡量评估者间一致性的常用方法。上海精神医学，27（1）。上網日期：2015年5月31日，檢自：

36 Cohen's Kappa計算器 輸入 結果

37 編碼者內部不一致的原因 是P2! 1. 編碼表的問題 修正編碼表 2. 編碼者的問題 比對編碼有差異的 行為，重新編碼
不同的編碼者對這份 編碼表的認知不一致 ↓ 修正編碼表 2. 編碼者的問題 編碼處理過程分心、 看錯 ↓ 比對編碼有差異的 行為，重新編碼 是P2! 鳥山明，ドラゴンボール

38 整合最後編碼結果 事件編號 編碼者1 編碼者2 最後編碼 1 A B 2 3 4 C 5 6 7 8 9 10

39 編碼結果轉序列編碼工具 ABBCBBCAAC 事件編號 最後編碼 1 A 2 B 3 4 C 5 6 7 8 9 10

40 Part 4. 序列分析原理與計算

41 滯後序列分析 滯後序列分析最早是由Sackett,G.P於1974年首次提出。
1997年，Bakman和Gottman出版Observing interaction的書中介紹在觀察研究過程中，如何 選擇每一個細節，每種不同類別的方法適合甚麼 樣的研究情境，也說明了研究結果應該使用何種 統計方法。 滯後序列分析法比其他研究方法更能推論整體線 上學習的整體序列模式，學習行為之間的順序關 係是否達到統計顯著性。

42 觀察序列樣本 ABBCBBCAAC N：觀察樣本的編碼次數 (10)
Ns：觀察樣本中，雙事件序列的次數 (9) 也就是兩兩成對的事件頻率，計算如下： AB BB BC CB BB BC CA AA AC

43 轉換頻率表 ABBCBBCAAC 目標編碼 (Target Code), lag 1 A B C 1 (A->A)
給定編碼 (Given Code) lag 0 A B C 出現頻率 編碼總共 1 (A->A) 1 (A->B) 1 (A->C) 3 2 4 1 lag 1 9 10 從「橫列」往「直欄」去看 例如第一列、第二欄是為「A」到「B」的轉換頻率

44 我的眼睛都看到了！ 經過我長久觀察啊 發現B->C居然很常發生！

45 B->C轉換頻率是否顯著？ 目標編碼 (Target Code), lag 1 A B C 1 3 2 4 9 10 給定編碼
(Given Code) lag 0 A B C 出現頻率 編碼總共 1 3 2 4 lag 1 9 10 f(g,t)：欲觀察轉換序列(給定編碼g->目標編碼t)的頻率 f(g)：給定編碼g出現的頻率 p(t)：目標編碼t出現的機率 p(g)：給定編碼出現的機率 z：序列轉換的顯著程度 超過1.95即達到顯著性(同等於右尾檢定中p < 0.05)

46 二項式分佈檢定 實際B->C 序列轉換出現次數 B->C 序列轉換出現期望值
H0: x ≦ NP B->C出現頻率低於 或等於出現期望值 H1: x > NP B->C出現頻率大於出現期望值 標準誤修正

47 Allison & Liker (1982) z分數算法
意義 x→f(g,t)：欲觀察轉換序列(給定編碼g->目標編碼t)的頻率(frequency) N→f(g)：給定編碼(given code, g)出現的頻率 P→p(t)：目標編碼(target code, t)出現的機率 (probability) Q→[1 - p(t)] p(g)：給定編碼出現的機率 z：序列轉換的顯著程度 超過1.95即達到顯著性(同等於單尾右側檢定中的p < 0.05)

48 f(g,t)=2 f(g)=4 p(t)=? p(g)=?
要觀察轉換序列的參數 目標編碼 (Target Code), lag 1 給定編碼 (Given Code) lag 0 A B C 出現頻率 編碼總共 1 3 2 2=f(g,t) 4=f(g) 4 lag 1 3=f(t) 9=Ns 10 f(g,t)：欲觀察轉換序列(給定編碼g->目標編碼t)的頻率 f(g)：給定編碼g出現的頻率 p(t)：目標編碼t出現的機率 p(g)：給定編碼出現的機率 z：序列轉換的顯著程度 超過1.95即達到顯著性(同等於右尾檢定中p < 0.05) f(g,t)=2 f(g)=4 p(t)=? p(g)=?

49 給定編碼出現機率p(g)的算法 f(g)：給定編碼在lag 0位置的出現頻率，f(g)= f(B) = 4 Ns：序列次數， Ns=9

50 目標編碼出現機率p(t)的算法 f(t)：目標編碼出現在lag 1的頻率，f(t) = f(C) = 3 Ns：序列次數， Ns=9

51 計算z分數 z未達1.95，無法拒絕H0 B->C沒有顯著轉換 f(g,t)=2 f(g)=4 p(t)=0.33 p(g)=0.44
4-(2*0.44) 0.12 2*0.44(1-0.44)(1-0.22) 0.38 sqrt(0.38) = 0.62 0.12/0.62= (2-(4*0.33)) / Math.sqrt((4 * 0.33 * (1-0.33) * (1-0.44))) z未達1.95，無法拒絕H0 B->C沒有顯著轉換 ※ 因為四捨五入，與實際計算結果會有所出入

52 所以B->C很常出現是…… 假的！ 哎呀！我的眼睛業障重啊！

53 B->C轉換頻率為何不顯著？ 目標編碼 (Target Code), lag 1 A B C 1 3 2 4 9 10 給定編碼
(Given Code) lag 0 A B C 出現頻率 編碼總共 1 3 2 4 lag 1 9 10 f(g,t)：欲觀察轉換序列(給定編碼g->目標編碼t)的頻率 f(g)：給定編碼g出現的頻率 p(t)：目標編碼t出現的機率 p(g)：給定編碼出現的機率 z：序列轉換的顯著程度 超過1.95即達到顯著性(同等於右尾檢定中p < 0.05)

54 調整後的殘差表 目標編碼, lag 1 A B C 合計 1 3 2 4 9 目標編碼, lag 1 A B C 0.57 -0.47
給定編碼 lag 0 A B C 合計 1 3 2 4 9 目標編碼, lag 1 給定編碼 lag 0 A B C 0.57 -0.47 -1.43 0.3 0.95 1.07 0.18 -1.13

55 Bakeman書中的例子 目標編碼, lag 1 U S P T G 6 2 5 15 7 23 11 10 30 12 33 4 9 26
給定編碼 lag 0 U S P T G 合計 6 2 5 15 7 23 11 10 30 12 33 4 9 26 14 27 127 目標編碼, lag 1 給定 lag 0 U S P T G -1.45 2.34 -1.00 0.69 -0.80 1.81 -2.49 0.85 0.01 0.06 -0.87 -3.49 1.53 1.85 0.88 2.00 -3.96 1.48 -0.61 -0.40 2.13 -2.97

56 事件轉換圖 Behavioral transfer diagram
目標編碼, lag 1 給定 lag 0 U S P T G -1.45 2.34 -1.00 0.69 -0.80 1.81 -2.49 0.85 0.01 0.06 -0.87 -3.49 1.53 1.85 0.88 2.00 -3.96 1.48 -0.61 -0.40 2.13 -2.97

57 解釋事件轉換圖的注意事項 G到T有顯著轉換 T到P有顯著轉換 G到T到P有顯著轉換

58 Part 5. 序列分析工具

59 GSEQ GSEQ(Generalized Sequential Querier)是一套電腦統計軟體。Roger Bakeman & Vicen Quera在1992年的滯後序列分析中發展的相對應軟體，用以計算觀察得到資料。 目前GSEQ已經發展到5.1版。除了介面簡化 及功能增加外，它的特色在於輸入文字型態 的原始碼後，就可以分析其順序關係，如： variety、frequencies、rate、durations、 proportion(percentages)，資料的kappa值等 等。

60 MEPA http://edugate.fss.uu.nl/mepa/
MEPA是荷蘭最古老大學之一烏特勒支大學教育科學系的 Gijsbert Erkens所開發的互動分析軟體 MEPA是一個用於標註、對於一些口語或行為觀察資料進 行編碼的工具，可以用來製作觀察行為資料的編碼系統，也 可以用來針對已經編碼的口語或行為資料進行各種質性與量 化的分析 分析方法包括滯後序列分析 Lag Sequential Analysis 操作說明：

61 布丁自製工具 Cohen's Kappa計算器 http://j.mp/2015-kappa
編碼結果轉序列編碼工具 序列分析工具 PHP 版本 (原始碼： )

62 序列分析工具PHP版 (1/2) 貼上序列編碼 送出

63 序列分析工具PHP版 (2/2) 編碼標籤列表 編碼轉換頻率表 調整後殘差表 紅字表示z > 1.95 顯著編碼轉換

64 實作看看 編碼編碼 > 編碼結果比較 > 隨機亂數結果
編碼編碼 > 編碼結果比較 > 隨機亂數結果 編碼結果轉序列編碼工具 序列分析工具 PHP 版本 / sa-php-temp

65 Part 6. 序列分析的進階應用 如何更容易出現顯著？

66 轉換都不顯著怎麼辦？ 出現顯著性的基本原則 = 足夠的樣本數量 如果鄰近編碼可重複，則需要更多樣本 允許B->B，則表示可以重複
編碼表中的編碼越多，則需要更多樣本 A,B,C -> U,S,P,T,G 你要觀察的序列越長，則需要更多樣本 lag 2 -> lag 3需要更多樣本

67 A B B C 鄰近編碼可重複 N = 10, Ns = 9 可重複 ABBCBBCAAC A B C 1 3 2 4 既定編碼 出現頻率
(Given Code) lag 0 A B C 出現頻率 1 3 2 4 lag 1 B B N = 10, Ns = 9 C

68 A B C 鄰近編碼不可重複 N = 7, Ns = 6 不可重複 ABBCBBCAAC A B C 1 2 3 既定編碼 出現頻率
(Given Code) lag 0 A B C 出現頻率 1 2 lag 1 3 B N = 7, Ns = 6 C

69 目標編碼出現機率p(t)的算法 鄰近編碼可重複 鄰近編碼不可重複 f(t)：目標編碼出現在lag 1的頻率，f(t) = f(C) = 3
Ns：序列次數， Ns=9 可重複 p(t) = 3 / 9 = 0.33 Ns：不重複時序列次數， Ns=6 f(g)：給定編碼在lag 0位置的出 現頻率，f(B) = 2 不可重複 p(t) = 3 / (6-2) = 0.43 1-(4*0.43) / Math.sqrt(4*0.43*(1-0.43)*(1-0.44))

70 鄰近編碼重複對z分數的影響 鄰近編碼可重複 鄰近編碼不可重複 ABBCBBCAAC, Ns=9 ABCBCAC, Ns=6
目標編碼, lag 1 給定編碼 lag 0 A B C 0.57 -0.47 -1.43 0.3 0.95 1.07 0.18 -1.13 目標編碼, lag 1 給定編碼 lag 0 A B C -1 -1.73 1 0.61 -0.61 -1.32

71 減少要觀察的編碼：合併 A A B B C C 合併 C D

72 減少要觀察的編碼：刪除 A A B B 刪除 C D D

73 更多觀察樣本：片段(1/2) ABBCBBCAA ABCCBBCAB 目標編碼, lag 1 A B C 0.94 -0.94 -1.63
給定編碼 lag 0 A B C 0.94 -0.94 -1.63 1.63 目標編碼, lag 1 給定編碼 lag 0 A B C -0.62 1.63 -1.26 -0.83 -0.73 1.32 1.38 -0.19

74 更多觀察樣本：片段(2/2) ABBCBBCAA ABCCBBCAB 目標編碼, lag 1 A B C 0.37 1.15 -1.57
給定編碼 lag 0 A B C 0.37 1.15 -1.57 -1.69 -0.50 1.97 1.47 -0.54 -0.65

75 觀察樣本片段 (Break) ABBCBBCAA ABCCBBCAB N = 18 編碼總次數 breaks = 2 片段數
Ns = 16 編碼序列次數 (18-2) 雙事件序列： AB BB BC CB BB BC CA AA AB BC CC CB BB BC CA AB 注意片段之間的A->A不納入計算

76 Part 7. 序列分析的進階應用 比較與深入分析

77 加入單一行為比例的描述資料 除了觀察序列行為的事件轉換之外， 通常還會加入各行為的比例描述來補充
范蔚敏（2011）。基於學習社群角色行為特徵之網路合作式學習分組策略及其討論歷程評估研究（碩士論文）。國立政治大學圖書資訊與檔案學研究所，國立政 治大學。上網日期：2015年5月31日，檢自： /ccd=X5LsV5/record?r1=1&h1=1

78 比較不同組別的行為模式 (1/2) 實驗組的觀察序列 控制組的觀察序列 ABBCBBCAA ABCCBBCAB ABCBCBCCB …...
ACACBCABA ABBCABCAC ACCBBCACB …...

79 比較不同組別的行為模式 (2/2) 實驗組的觀察序列 控制組的觀察序列 目標編碼, lag 1 A B C 0.57 1.51 -1.95
給定編碼 lag 0 A B C 0.57 1.51 -1.95 -1.56 -1.66 2.78 1.12 0.42 -1.20 目標編碼, lag 1 給定編碼 lag 0 A B C -2 0.31 1.46 -0.78 -0.32 0.99 2.68 -2.35 0.31 -0.32

80 切割時間區間 第一階段 第二階段 范蔚敏（2011）。基於學習社群角色行為特徵之網路合作式學習分組策略及其討論歷程評估研究（碩士論文）。國立政治大學圖書資訊與檔案學研究所，國立政 治大學。上網日期：2015年5月31日，檢自： /ccd=X5LsV5/record?r1=1&h1=1

81 B C B C 深入分析不同研究對象 (1/2) 各別分析男女不同性別的序列轉換， 發現男性的序列轉換顯著程度高於女性。 13.58
8.93 B C 0.53 各別分析男女不同性別的序列轉換， 發現男性的序列轉換顯著程度高於女性。

82 深入分析不同研究對象 (2/2) Z PT TR TK 25.47∗ −13.34 −29.97 −13.57 523.03∗ 1.49
−27.11 −0.6 282.56∗ Z Gender PT TR TK Male 17.18∗ −11.86 −23.61 Female 18.77∗ −5.87 −18.34 −12.21 363.47∗ −2.28 −5.68 370.49∗ 4.31∗ −20.86 −3.48 200.14∗ −17.18 1.92 193.63∗ Hou, H.-T. (2012). Exploring the behavioral patterns of learners in an educational massively multiple online role-playing game (MMORPG). Computers & Education, 58(4), doi: /j.compedu

83 BLOG: 布丁布丁吃什麼？ http://blog.pulipuli.info/