校務研究能量建立與 在校務上的應用 中原大學機械系 許政行 教授 日期：105年8月25日

校務研究(IR)

校務研究之定義 校務是泛指與學校行政、總務、教務、研究發展、以及學生事務有關的政策、措施、過程以及績效等。 校務研究之定義: 運用學校之校務資料，包括行政運作、環境設施、教師教學措施與學術研究、學生學習歷程與表現以及師生背景等過去與現在的質化與量化評量資料，進行彙整、分析與闡釋，使之轉換成為有用的資訊，所演化而成的一種研究領域、技能與服務。 教學與學生學習成效只是校務的兩個主要 項目。其他學校事務也都是校務研究的範疇

為何需要校務研究-傳統的決策模式 傳統的決策模式的缺點在於基于“有限理性”理論的決策， 缺乏決策支撐依據。 “數據驅動”決策模式金字塔 . 智慧(wisdom)-總結性知識 . 知識(knowledge)-使用性資訊 .資訊(information)-數據關係 .數據(data)-蒐集的資料

校務研究之功能 校務研究之功能: 提供充分即時資訊，協助學校各級決策人 員瞭解校務現況以及國內外大學發展趨勢， 據以檢視學校本身之優勢與弱點。 協助訂定學校未來發展標竿及政策，規劃 改進策略，以開創新局。 蒐集、彙整、倉儲與傳播校務資料，找出 資料間之相關性，以促進資料之使用、評 估、預測及社會大眾對學校之瞭解。

校務研究之特質 校務研究之特質: 應用性行動研究 研究對象固定，以學校之人、事、物為主軸。 研究目標清楚，聚焦於提升學校決策品質與行 政效能、教師研發績效、教師教學與輔導及服務 品質、學生學習成效、以及學校發展策略。 需統合運用多種學術領域的知識與技能來解答大 學問題。 以實徵資料為基礎。 e.研究方法合乎科學化與學術研究標準。

校務研究蒐集之資料 校務研究蒐集之資料: 問卷調查資料 評鑑資料 教師教學與學生學習記錄 其他校務行政作業記錄 教職員和學生背景記錄

資料的蒐集整理及儲存 實徵資料是校務研究的基礎，沒有正確、完整、與豐富的資料，校務研究就 很難有好的成果。 蒐集、彙整及建置有用的資料庫是校務研究首要工作: (1) 校務既有資料的擷取與整合 (2) 新增資料的蒐集與處理。

基礎資料的建置 由資料庫擷取校務研究所需資料，供統計分析使用。 新增資料則是依校務研究需求特別設計收集的資料，包括測 驗與調查 既有資料如 學習歷程調查 (包括學習意願，學習投入程度，行業選擇等) 教務處學生選課及成績記錄 課程與教育目標對應圖 入學時家庭背景調查資料/學測及科考資料 教師教學課程大綱 學生對教師教學評量評核意見 由資料庫擷取校務研究所需資料，供統計分析使用。 新增資料則是依校務研究需求特別設計收集的資料，包括測 驗與調查

建立IR團隊 學校的重視與支持: 積極營造以實徵資料為依據的決策文化；成立校務研究辦公室，直屬 學校高層並提供適切的人力資源與經費。 團隊人員能產出高品質的校務研究成果: 團隊人員要有高度的服務熱誠與敬業精神， 要能夠專注在研究工作上，保持獨立研究者的身份， 以保研究的客觀性。 2. 人員之基本專業知識與技能需包含電腦程式設計、統計分析、問卷設計、數據管理、資 訊傳達、測驗評量原理、良好的溝通表達能力以及人際協調能力。 深悉高等教育理論及對本校之歷史背景與發展願景。 了解國家及國家環境與大學組織的知識和智慧。

校務研究實施的環境和條件 a. 組織結構 b. 人力資源須具備三方面的知識與能力-技術與分析、大學事務及大學背景。 學歷以博士及碩士為主，專業領域以社會科學及教育領域較普遍。工作經歷 以資深人員為主。學校能提供培訓技術與分析、大學事務及大學背景的機會 c. 財力資源 d. 數據資源-如果沒有量化數據和其他”硬”(hard)資訊，大學現在不會，可能從 來也不會得以正常運行

例:亞洲大學校務研究發展中心組織及運作

校務研究的決策支持程序 校務研究的決策支持程序: 資訊技術平台與商業智慧之應用-知己知彼、 以據為策

Life of Big Data Technologies

IR應用關鍵步驟

校務研究發展策略建置與運作(1/2) 以「數據驅動決策」 (data-driven decision making)模式，開展校務 研究，樹立教學習政策擬訂機制。

校務研究發展策略建置與運作(2/2)

校務研究發展中心策略制定機制圖 Wisdom IR 資訊發展處 業管單位 Knowledge Information Data 數據/資訊彙編 分析 介面/平台 IR 資訊發展處 業管單位 數據蒐集 演算公式/定義/週期 介面/平台

校務研究與現行校務系統之嵌合示意圖 數據資源: 1.資料收集流程介面(Web/Client) 2.使用者介面(Web/Client) 3.分析挖掘之內部聯網(Client & Intranet) 4.資料庫(Data base)

校務研究與現行校務系統運作原則 資料庫之數據維護，原則是以”分散維護、統整管理”模式進行 各單位填報並儲存在資料庫的數據必須以原始數據為原則。 與業管資訊相關之計算由原始數據演算之；演算公式及參數定義由業 管單位提供給資訊單位撰寫程式方塊(Cube)或培訓業管單位人員自行 撰寫。 各行政單位資料庫資訊之分享應用之授權機制，依職位身分別，再檢 討並修正授權之規範表，並貫穿至單一簽入之機制中。 配合數據收集之質與量因IR的需求所造成極大數據數量的提升，各行 政單位仍需進行行政流程的e化再造及表單合併及簡化輸入介面的工 作(朝work flow思維調整)。

校務研究與現行校務系統運作模式 實際操作面之規劃原則 1.輸入人員原則上定義為”服務需求者”。 2.學校各單位須同步進行行政流程e化再造及簡化(優化思維)，相關表 單數量減併及程序簡化之運行 3.”服務提供者”只做簡單輸入及驗證，逐步減少目前紙面表格內容均 需職員或工讀生輸入的負擔 4.行政人員輸入介面及業務處理介面(intranet)皆能在同一行政事務介 面系統上(client)，進而為未來行政單一服務窗口的設置推展建立基礎

例:亞洲大學校務研究發展運作機制 請將科技部資料並入政府計畫中

盤點各單位資料進行IR的預備度之建議 各行政單位資料常有缺漏，或不符校務資料庫檔案格式，各單位應規劃 好資料之參數與欄位的定義，可參酌教育部大學校院校務資料庫。 各單位應讓資料e化以形成自動化資料庫或雲端系統，並藉由行政優化， 減輕繁瑣行政事務與數據資料之處理。 各單位資料可能因為人事異動，造成資料交接斷層，未來應規劃資料定 期分類統整與自我盤點，確保資料蒐集與保存的延續性。 各單位撰寫原始資料參數(raw data)操作型定義，以便後續資料盤點、 評鑑與分析時釐清參數內容。

校務研究發展運作思考維度

IR思維之教學習機制與平台對應模式

校務研究(IR)之運作

現階段校務研究探討的問題 現階段大學教育發展的問題背景： 大學過分普及化 少子女化 學用落差 國際移動能力

校務研究議題範疇 IR議題的範疇很廣，但現階段大部分校院集中於解決： 1.學生學習成效 2.學生畢業即就業 3.教師升等制度 4.學生休退學(Retention Rate)

校務研究實施流程 2.研究資料庫建置、串接及發展可用的資料：譯碼簿、正確化、可靠化、可親近 4.分析結果的討論、應用及行動 IR實施流程的4個步驟： 1.選定研究議題及相關變項 2.研究資料庫建置、串接及發展可用的資料：譯碼簿、正確化、可靠化、可親近 3.數量方法的處理 4.分析結果的討論、應用及行動

提升學生學習成效策略研究(1) 發現學生學習成效欠佳，互動關係人期待學校改進 展開焦點會議 與教學單位主管、各系所教師、在校學生及畢業生代表 分別舉行焦點會議，聽取建言，營造師生參與感: 學校學習風氣不良，需設法改善風氣 學生不努力，不用功，要加強輔導 教師教學方法需改進，宜多舉行教師研討會 教師對學生要求太低，宜提高標準 IR 依據建言與其他研究假設，選擇變項並納入 研究設計考量，然後以實徵資料進行分析與驗證

提升學生學習成效策略研究(2) 盤點校內既有資料檔案建立資料庫: 學習歷程調查 (包括學習意願，學習投入程度，行業選擇等) 高中學習成績或歷程資料 教務處學生選課及成績記錄 課程與教育目標對應圖 入學時個人與家庭背景資料 大學入學學測及指考資料(或統測資料) 教師教學課程大綱 學生對教師教學評量之評核意見 社團參與狀況 其他相關資料 ……!

提升學生學習成效策略研究(3) 組合及檢視IR所需資料檔 依據教學原理及相關研究文獻，檢視欠缺之資料 (例 如是否欠缺學生性向與學習特性，招生用的學測與指 考成績，入學時國、英文能力檢定成績，高中成績或 學習歷程、教師教學模式…等)。 設計問卷並蒐集欠缺的資料與樣本數。 建議業管單位補足資料或建立蒐集機制與介面

提升學生學習成效策略研究(4) 設定學習成效指標並分析各變項相關性: 學年學業平均成績分佈 (期待成績以上學生人數百分比) 學生主修科目成績低於期待成績的百分比 學生是否退學或轉學轉系? 百分比? 準時四年畢業? 百分比? 獲取證照層次及張數? 百分比? 分析各系學生上述指標的分佈樣態 顯示現況、診斷問題的嚴重性，各系之間的差異， 考慮下一步決策

提升學生學習成效策略研究(5) 解讀分析結果： 用描述性統計方式檢視學習成效指標與其他學生個人和家庭變 項，以及教師教學、學校輔導措施等的關係 (cross-tabulation or relational analysis)，以便初步檢定可能與學習成效有關的 變項 以同樣方式檢測變項之間的相關，如學生志向與學習意願，努 力 (投入)程度、家庭背景、學科基礎能力…等彼此間的相關程 度 依據教學原理及相關研究文獻，進一步篩選變項組合，運用高 層次統計方法，如regresseion analysis, statitical modeling，進行分析，釐清各變項之間與學習成效之直接與間 接關係

提升學生學習成效策略研究(6) 尋求問題的答案： 假設分析結果顯示學業成績低於期待分數者，學習意願及努力程度顯著低於學業 成績高於期待分數的同學。這是否表示學習意願及努力程度是學習成效關鍵變項， 所以提升學習成效方案即是設法提升學生學習意願及努力程度? 答案未必是如此，還得看其他重要變項都控制之後，這兩變項是否還保持顯著關 係﹖ 假設分析結果顯示學生志向與學習意願及努力程度有高度相關，志向不明者不知 為何而唸，也可能是影響學習成效更深沉的變項因素。 假設分析結果又顯示家庭背景及高中時的經驗與學生志向有關，問題變得更複 雜。IR任務就是要幫助思考解決方案。

提升學生學習成效策略研究(7) 分析結果示意圖

提升學生學習成效策略研究(8) IR 全方位考量，精進方案可能包含各面向： 調整招生標準與策略，招收合適特質的學生 強化補救教學措施，增進基礎學科能力 適性生涯輔導，引導邁向合宜的學習發展 創新教學措施，啟發學生學習動力與思考 精進課程設計，以符合學生個人及職場所需　 整合關懷輔導措施，讓學生能自在生活、身心健康 及積極學習 積極與社區合作，輔導因家庭因素而致學習成效低落的學生

提升學生學習成效策略研究(9) 後續工作 向學校各級主管做研究結果報告並提出建言 協助學校各單位推展認同的方案 追蹤、評鑑及檢視改進方案執行情形與成效 研擬追蹤之研究，直到成果達到理想標準為止。

確立變項相關性及迴圈驗證 IR(Institutional Research)亦是Iterative Recursion Process Data factor

IR結果應用:軟計算之預測器(演算法的發展)

行政優化

校務資訊各單位數據蒐集流程 5.IR中心從原始數據(Raw Data)中擷取資料並進行分析；將分析結果反饋各數據提供單位 1.業管單位數據之盤點及確認 2.業管單位自訂表格欄位 (含指標定義、填報週期、時間、權責單位、填報人.) 3.系統人員依據業管單位提供的表格建置資料庫及平台 4.填報人員將原始數據(Raw Data)輸入至平台 5.IR中心從原始數據(Raw Data)中擷取資料並進行分析；將分析結果反饋各數據提供單位 這次品保中心收集raw data(初始資料)的簡單流程

例:亞大系統開發-原有填報模式

系統開發-業管單位填報畫面

系統開發-呈現畫面(資訊層面) 資料呈現

例:亞洲大學創新力學習成效卓越計畫

IR中心研究議題

擴大甄選入學名額比率是否影響經濟弱勢學生錄取大學機會: 個人申請 經濟弱勢學生錄取率較一般生低 學年度 第一階段 最後錄取 第一階段到最後錄取的錄取率變化 錄取 人數 經濟 弱勢 比率 錄取 人數 一般生 100 3312 64 1.9% 985 9 0.9% 30.0% 14.1% 101 3893 81 2.1% 1225 14 1.1% 31.8% 17.3% 102 4068 149 3.7% 1221 36 2.9% 30.2% 24.2% 103 4628 165 3.6% 1381 45 3.3% 29.9% 27.3% 104 5370 153 2.8% 1487 34 2.3% 27.9% 22.2% 相較100年，申請入學錄取人數增加51.0% (=(1487-985)/985)，經濟弱勢錄取人數增加277.8%(=(34-9)/9) 備註： 1.有關經濟弱勢人數係以大學甄選入學委員會所擬之「低收入戶」及「中低收入戶」列計之。 2.總報名人數=第一階段錄取人數+未通過本校第一階段人數。 3.未通過本校第一階段人數係只提供學生名冊，名冊內未提供經濟弱勢之欄位，故無法提供相關資料。 4.統一分發錄取人數係為最終錄取本校之人數，其錄取人數係從通過第一階段錄取人數中之篩選。 5.錄取人數包含到本校註冊與到別校註冊的學生。

以校務研究機制(IR)，啟動6大學習成效議題 成立一級單位的「校務研究發展中心」 中心已獲教育部補助大學提升校務專業管理能力計畫 委託校務研究發展中心分析6大學習成效議題 1 2 數位學習與巨量資料分析 入學管道 與在校 學習表現 獎助學金與學習成效分析 畢業生流向與學用合一分析 學生 休退轉 原因分析 實習課程與就業競爭力分析 6 3 5 4 6大學習成效議題 亞洲大學學生學習成效校務平台

多元入學管道學生其學業成績、穩定度、社團與服務學習表現之分析 校務研究 議題1 四技二專學生對於學業成績表現明顯高於聯合登記，個人申請,繁星推薦與轉學生 個人申請入學，聯合登記分發與四技二專在穩定度為最高 個人申請入學與繁星推薦學生對於參與社團與志工投入時數顯著高於聯合登記分發與學校推甄的學生；四技二專入學學生顯著高於學校推甄 各入學管道活動投入時數交叉分佈圖 聯合登記分發學生參與活動分佈圖 個人申請入學學生參與活動分佈圖 四技二專學生參與活動分佈圖 參與社團與志工學生入學管道圓餅圖

校務研究 獎助學金對大一新生學習經驗 議題2 研究顯示，家庭社經背景、高中在校成績表現、學生對獎助學金需求、及師生互 動對大一新生所預期的大學在校成績有具顯著相關 經濟弱勢家庭背景學生學習成就較低、高中在校成績佳者學習成就較高、對獎助 學金需求較高者學習成就較高、大學師生互動有助於學生學習成效提升 校園投入的整合經驗 學術投入 師生互動 人際網絡 對大學願景承諾 個人目標的承諾 就讀科系的確定性 對大學學費的經濟需求 獎助學金需求 校園工作狀態 家庭經濟負擔 社會文化對學歷的期待 父母的鼓勵支持 社會文化的期待 學歷的實用價值

亞洲大學數位學習發展關鍵因子，以有效利用數位學習資源 議題3 亞洲大學數位學習發展關鍵因子，以有效利用數位學習資源 校務研究 資料預處理 利用群集分析方法，將數位學習資料依據距離進行分群，共蒐集160,041筆資料，27種因子(view, launch, view forum, continue attempt, view discussion, view submit assignment form, submit review, pre-view等)，以探討數位學習行為與學生學習滿意度之關係 結論 本研究針對數位學習資料，利用資料驅動創新模式建立商業智慧服務創新，以供教學服務策略能以系統化的方式瞭解使用者習慣，提出適合的服務方案以提高學生學習成效與滿意度 在關鍵因子中，「複習」行為依然重要，但仍有其他四個過去未被發現之重要行為，可協助服務系統後續改善 研究模型與分析結果 重要因子 重要 排序 觀點總結 1 加入討論 2 觀看提交報告之成績分級 3 更新貼文 4 複習 5

各系所、學院學生休退轉比率狀況與關鍵因素 議題4 校務研究 102、103學年休學生以大四居多，大二次之，原因以服役、志趣不合為主要因素；退學生二年級主要因轉學而退學，三年級主要因2/3學分不及格而退學 1 102、103學年休學生占在學人數1.77%，退學生占在學人數2.47%，為本研究分析對象 2 大學部休學生以大四最多，大二次之，原因以服役、志趣不合為主要因素 大學日間部休學原因 進修學士班休學原因 3 大學部退學生二年級主要因轉學而退學，三年級主要因2/3學分不及格而退學 4 進修學士班主要因工作因素而休學，更進一步因修學後未復學而導致退學 大學日間部退學原因 進修學士班退學原因

學生校外實習課程之學習滿意度、職涯規劃與 未來就業競爭力之研究 校務研究 議題5 實習滿意度愈高，選擇「相關之產業就業」與「相關之科系升學」之意願愈高 實習生自評就業競爭力 (1~10)： 實習「前」平均 5 分；實習「後」平均 7 分，進步幅度約為 2 分 學生在加工業 (營造業與製造業) 組織實習後，提升選擇升學的傾向 實習時的學級 (年級) 愈高，就業信心與動機愈強 實習時數若愈長，學生自我成長的滿意度未隨之成長，因認為在實習機構中，工作潛力發揮的空間可能會受限於實習生的身份 IR建議 系所應強調校外實習的宗旨、實 務連結的重要性、現實職場可能 遭遇的問題、各產業職能訴求等 宣導說明 邀請實習生分享實習經驗 系所與實習機構業者在實習課程 工作內容與安排等規劃上的溝通 應更積極、慎重，期能激發學生 自我成長 系所落實校外實習課程檢視與改 善機制 1 2 3 4 5

畢業生流向與學用合一之資料導向分析研究 議題6 校務研究 議題6 本研究利用資料探勘的決策樹，分析101-102學年畢業生，並整合學涯中心、IR中心、教務處、學務處資料，透過分支屬性找出影響學用合一的重要因素，可供課程規劃參考 IR中心、教務處、學務處 基本資料：系所、入學方式… 課業表現：排名、選課、缺課… 課外表現：競賽、證照、實習… 課外活動：社團、打工… 整 合 預 處 理 衍 生 屬 性 學涯中心 畢業生流向 所學相符程度 醫健 管理 資電 排名 實習 選課 證照 找出各學院 的重要影響屬性 5555

結語 校務研究已成為未來學生學習成效確保及校務運作與決策重要的科學分析機制。 學校需更有效運用相關資源、提升校務運作效能與學校名聲，需要儘速建立知己知彼與以據為策的科學化決策模式。 校務研究與品保稽核及行政優化再造與決策有據形成提升效能之迴圈機制