七. 假說檢定Ⅰ (Hypothesis Testing Ⅰ) (Chapter 7)

Slides:



Advertisements
Similar presentations
腎臟保健 桃園榮民總醫院 社區團體衛教 報告者 : 林大雅 醫師. 腎臟的功能  清除、排泄廢物  調整水分、體液、調整血壓  維持電解質與酸鹼度平衡  製造與分泌賀爾蒙.
Advertisements

第 11 章 假設檢定的介紹.
單元九:單因子變異數分析.
實驗規劃--實驗因子設定, 效標選定與受測者選定
第9章 假設檢定.
應用統計理論 編著:劉正夫教授 Reference:1) Wonnacott and Wonnacott. Introductory
行銷研究 單元二 行銷研究的程序.
假設檢定之基本概念 單一母體平均數之假設檢定 假設檢定與信賴區間之相關性 兩母體平均數之假設檢定  
統計與生活 第十三 / 十四單元:顯著性檢定 & 統計推論的應用 授課教師:劉仁沛 教授
第 10 章 單組樣本的假設檢定.
第 9 章 假設檢定 Part A ( ).
第 9 章 假設檢定 Part A ( ).
第 8 章 一組樣本 單變項推論方法.
判斷步驟 Step 1 :判斷是否為常態分配 Step 2 :如果是常態分配,用「假設檢定」,如果不是請看 Step 3
第六章 假设检验的基本概念.
八、假說檢定 Ⅱ (Hypothesis Testing Ⅱ) (Chapter 8)
迴歸分析 主講人:童超塵 實驗室網址 永久: 實驗室網址 永久: 目前:
假設檢定.
實驗計畫資料分析作業解答 何正斌 國立屏東科技大學工業管理系.
商用統計學 Chapter 8 假設檢定.
型II誤差機率的計算 Calculating Type II Error Probabilities
第十章 兩母體之假設檢定 Inferences Based on Two-Samples:
西洋哲學史 西洋哲學的創始:古希臘哲學 (一)
One-Sample Tests of Hypothesis
11.1單一母體變異數的推論 前幾章中,我們以樣本變異數
Inferences Based on a Single Sample: Tests of Hypothesis Chapter 9
第一章.
第十單元 Comment compter en français ?
數學與文化:以數學小說閱讀為進路 洪萬生 台灣師範大學數學系退休教授
主講人 陳陸輝 特聘研究員兼主任 政治大學 選舉研究中心
第二講:初步認識釋迦摩尼佛的生平與教學 授課教師:國立臺灣大學哲學系 蔡耀明 教授
Survey of Selected Western Classics Unit 6: 聖經中的詩- Psalms
Hypothesis testing 假設檢定
第 9 章 假設檢定 Part B ( ).
劉仁沛教授 國立台灣大學農藝學研究所生物統計組 國立台灣大學流行病學與預防醫學研究所 國家衛生研究院生物統計與生物資訊組
歐盟法與生命文化 (二) 第八單元 Protestantism Spirit of Reformation
統計學 指導老師: 郭燿禎 Date: 2/14/12.
授課時間:2012年10月25日(四)16:30~18:20 授課地點:博雅教學館 405、406室
Operations Management Unit 3: Project Management (2)
本課程指定教材為:朱熹,《周易本義》,大安出版社。本講義僅引用部分內容,請讀者自行準備。
第十章補充 允收抽樣.
相關統計觀念復習 Review II.
第 7 章 推論方法.
估計與假設檢定.
授課教師:國立臺灣大學 政治學系 王業立 教授
臺灣現代主義小說 Reading Taiwan's Modernism Fiction 第一講:課程簡介
法學入門 第 1 單元:法學入門 【本著作除另有註明外,採取創用CC「姓名標示-非商業性-相同方式分享」台灣3.0版授權釋出】
劉仁沛教授 國立台灣大學農藝學研究所生物統計組 國家衛生研究院生物統計與生統資訊組
【本著作除另有註明外,採取創用CC「姓名標示-非商業性-相同方式分享」臺灣3.0版授權釋出】
有關於股票報酬及匯率變化對台灣醫療產業市場收益的分析
数学建模方法及其应用 韩中庚 编著.
第七章 假設檢定.
Array I 授課教師 Wanjiun Liao
第五章 估計與信賴區間 5.1 估計概論 估計量的分配 信賴度、信賴區間與最大容忍誤差16
劉仁沛教授 國立台灣大學農藝學研究所生物統計組 國立台灣大學流行病學與預防醫學研究所 國家衛生研究院生物統計與生物資訊組
Review of Statistics.
Introduction to Basic Statistics
Parameter Estimation and Statistical Inference
Operations Management Unit 4: Developing a Process Strategy
楊志強 博士 國立台北教育大學系 教育統計學 楊志強 博士 國立台北教育大學系
Operations Management Unit 5: Analyzing Processes (1)
第二單元(2):Case Study- Li & Fung
R教學 t檢定R指令與範例 羅琪老師.
第 11 章 假設檢定的介紹.
【本著作除另有註明外,採取創用CC「姓名標示-非商業性-相同方式分享」臺灣3.0版授權釋出】
參考書籍:林惠玲與陳正倉(2002),《應用統計學第二版》。台北:雙葉書廊有限公司。
本課程指定教材為:朱熹,《周易本義》,大安出版社。本講義僅引用部分內容,請讀者自行準備。
政治大學財政所與東亞所選修--應用計量分析--中國財政研究 黃智聰
假說檢定程序 3.1 定義 3.2 假說檢定程序 3.3 檢定的種類與方法 3.4 統計檢定精神 個案:假說建立
17.1 相關係數 判定係數:迴歸平方和除以總平方和 相關係數 判定係數:迴歸平方和除以總平方和.
Presentation transcript:

七. 假說檢定Ⅰ (Hypothesis Testing Ⅰ) (Chapter 7) 劉仁沛教授 國立台灣大學農藝學研究所生物統計組 國立台灣大學流行病學與預防醫學研究所 國家衛生研究院生物統計與生物資訊組 jpliu@ntu.edu.tw 【本著作除另有註明,網站之內容皆採用 創用CC 姓名標示-非商業使用-相同方式分享 3.0 台灣 授權條款釋出】 2019/1/18 Jen-pei Liu, PhD

假說檢定(Hypothesis Testing) 型Ⅰ與型Ⅱ錯誤(TypeⅠ&TypeⅡError) 假說檢定之步驟(Procedures of Hypothesis Testing) 樣品數之決定(Sample Size Determination) 2019/1/18 Jen-pei Liu, PhD

問題範例 犯人有罪與否? (Yes or No?) 藥品是否有效? (Yes or No?) 台大農場生產960cc之鮮奶是否的確為960cc? (Yes or No?) 2019/1/18 Jen-pei Liu, PhD

問題範例 藥品有效期是否為標韱上所宣稱2010年7月到期? (Yes or No?) 教授論文或學生作業是否抄襲? (Yes or No?) 2019/1/18 Jen-pei Liu, PhD

實證科學 (Evidence-based Science) 以數據的經驗證據(Empirical evidence)做出資訊決策(Informed Decision)。 決策的方式只有兩種:是或否( Yes or No?)。 數據的經驗證據來自樣本。 決策是推論至整個母體。 2019/1/18 Jen-pei Liu, PhD

統計假說檢定(Statistical Hypothesis Testing) 統計方法進行決策的過程(Decision-Making Process),將探討的問題二分為兩種假說: 虛無假說(Null Hypothesis,Ho) 對立假說(Alternative Hypothesis,Ha) 對立假說:吾人欲證明的事件(所感興趣) 虛擬假說:對立假說之補事件(不感興趣) 2019/1/18 Jen-pei Liu, PhD

例:若法官對審判的目的為證明嫌犯有罪 Ho:無罪 Ha:有罪 若藥廠要證明所研發的新藥有療效 Ho:無療效 Ha:有療效 vs. vs. 2019/1/18 Jen-pei Liu, PhD

新品種每公頃平均產量增加1000kg/ha Ho:平均產量增加 1000kg/ha Ha:平均產量增加 1000kg/ha 奶粉重量不足500公克 Ho:平均奶粉重量至少500公克 Ha:平均奶粉重量不足500公克 2019/1/18 Jen-pei Liu, PhD

平均每公頃產量增加1000kg/ha Ho:μ 1000kg/ha Ha:μ 1000kg/ha 奶粉重量不足500公克 Ho:μ 500g Ha:μ 500g vs. vs. 2019/1/18 Jen-pei Liu, PhD

自今天生產的奶粉罐隨機取樣36罐奶粉,其樣品平均值為485g,若族群標準偏差σ=30g,是否有足夠證據證明奶粉罐平均重量不足500公克? 2019/1/18 Jen-pei Liu, PhD

型Ⅰ與型Ⅱ錯誤(TypeⅠ&TypeⅡError) 事實(Truth) 決策(Decision) Ho:μ 500g為真 Ha:μ 500g為真 不拒絕Ho Not reject Ho 決策正確 型Ⅱ錯誤 拒絕Ho Reject Ho 型Ⅰ錯誤 2019/1/18 Jen-pei Liu, PhD

Ho:新藥不具療效 Ha:新藥具有療效 事實(Truth) 決策(Decision) 無法拒絕Ho Not reject Ho 決策正確 vs. 事實(Truth) 決策(Decision) Ho:新藥不具療效為真 Ha:新藥具有療效為真 無法拒絕Ho Not reject Ho 決策正確 型Ⅱ錯誤 拒絕Ho Reject Ho 型Ⅰ錯誤 2019/1/18 Jen-pei Liu, PhD

型Ⅰ錯誤(TypeⅠError) 拒絕虛無假說∣當Ho為真時 決策判定新藥有療效∣事實上新藥無療效 reject Ho∣Ho is true 消費者的風險(Consumer's Risk) 2019/1/18 Jen-pei Liu, PhD

型Ⅱ錯誤(TypeⅡError) 無法拒絕虛無假說∣當Ha為真時 決策判定新藥無療效∣事實上新藥具有療效 無法拒絕Ho∣Ha is true 生產者的風險(Producer's Risk) 2019/1/18 Jen-pei Liu, PhD

診斷結果 決策(診斷) 事實(Truth) Ho:無病為真 Ha:有病為真 無法拒絕Ho 決策正確 型Ⅱ錯誤 拒絕Ho 型Ⅰ錯誤 型Ⅰ錯誤:診斷有病∣事實上無病 拒絕Ho∣ Ho為真 偽陽性(False Positive) 型Ⅱ錯誤:診斷無病∣事實上有病 無法拒絕Ho∣ Ha為真 偽陰性(False Negative) 2019/1/18 Jen-pei Liu, PhD

統計假說檢定之邏輯基礎:反證法 目的:證明Ha為真 方法:利用資料證明Ho不成立 =>間接地證明Ha為真 結論:二種可能性 2019/1/18 Jen-pei Liu, PhD

目的:反證法證明Ha為真 必須先控制型Ⅰ錯誤   (拒絕Ho∣Ho為真) 顯著水準α=P[型Ⅰ錯誤] =P[拒絕Ho∣Ho為真] =P[無法拒絕Ho∣ Ha為真] =P[偽陰性] 檢定力=1-β =P[拒絕Ho∣ Ha為真] 2019/1/18 Jen-pei Liu, PhD

統計假說檢定之步驟 1. 設立虛無假說(Ho)及對立假說(Ha) 應將欲證明之假說放於Ha 其補集合放於Ho 消費者基金會:奶粉重量不足500公克   Ho:μ 500g vs. Ha: μ 500g Ho:μ μo vs. Ha:μ μo μo=500g 2. 設定顯著水準 通常α=0.05或α=0.01 2019/1/18 Jen-pei Liu, PhD

選擇適當的檢定統計量(Test Statistic) 分子:樣品估算值-虛無假設所定族群母數 分母:樣品估算值的抽樣誤差: 2019/1/18 Jen-pei Liu, PhD

決定棄卻域(Rejection Region)或 決策規則(Decision Rule) Ho:μ 500g vs. Ha: μ 500g Ha只考慮奶粉平均重量小於500公克  =>單尾檢定  標準常態分佈之(1-α)%百分位 如果  =>拒絕Ho α=0.05, =1.645 2019/1/18 Jen-pei Liu, PhD

表示 的差異 無法以抽樣誤差解釋=> 的差異可能是其他原因 如自動化裝罐機問題,人工操作的原因 如果 =>無法拒絕Ho 表示 的差異 無法以抽樣誤差解釋=> 的差異可能是其他原因 如自動化裝罐機問題,人工操作的原因 如果 =>無法拒絕Ho =>  的差異未超過抽樣誤差 2019/1/18 Jen-pei Liu, PhD

棄卻域 2019/1/18 Jen-pei Liu, PhD

=>重複進行20次假設檢定後的決策有一次是錯誤 進行實驗或取樣取得樣品計算  樣品統計量 及檢定統計量Z 根據步驟4判定拒絕Ho或無法拒絕Ho 本日隨機取樣36罐奶粉 =>本日奶粉罐重量小於500公克 =>此決定是有5%的型Ⅰ錯誤機率 =>重複進行20次假設檢定後的決策有一次是錯誤 若 若 =>拒絕Ho 2019/1/18 Jen-pei Liu, PhD

Ho:μ μo(500g) vs. Ha:μ μo(500g) 若 單尾檢定:對立假說是單一方向 Ho:μ μo(500g) vs. Ha:μ μo(500g) 若 Ho:μ μo(1000kg/ha) vs. Ha:μ μo(1000kg/ha) =>拒絕Ho =>拒絕Ho 2019/1/18 Jen-pei Liu, PhD

Ho:μ=500g (μo) vs. Ha:μ 500g (μo) 雙尾檢定:對立假說是兩個方向 Ho:μ=500g (μo) vs. Ha:μ 500g (μo) 若 或 =>拒絕Ho =>拒絕Ho 2019/1/18 Jen-pei Liu, PhD

Z Z Z 圖7.3 雙尾與單尾檢定圖 (a) 棄卻區 2.5% 棄卻區 2.5% 接受區 -1.96 1.96 (c) (b) 棄卻區 1.96 (c) (b) 棄卻區 5% 棄卻區 5% 接受區 接受區 Z Z -1.645 1.645 圖7.3 雙尾與單尾檢定圖 2019/1/18 Jen-pei Liu, PhD

例子:正常成人血中平均膽固醇為180mg/dL   標準偏差為50mg/dL 例子:正常成人血中平均膽固醇為180mg/dL   標準偏差為50mg/dL.今調查某地區16位 成人平均膽固醇為200mg/dL問此地區 平均膽固醇是否與180mg/dL有差異? Ho:μ=180mg/dL vs. Ha: μ 180mg/dL 2. α=0.05 3. 4. 5. =>拒絕Ho 若 因 =>無法拒絕Ho 2019/1/18 Jen-pei Liu, PhD

例子:雞飼料加入魚骨粉後每隻雞每月平 均蛋產量是否高過21個?取樣100隻雞 例子:雞飼料加入魚骨粉後每隻雞每月平 均蛋產量是否高過21個?取樣100隻雞 若 =>拒絕Ho 若 =>拒絕Ho 2019/1/18 Jen-pei Liu, PhD

P-value Ho:μ=μo(500g) vs. Ha:μ<μo(500g) 當Ho為真時 族群平均值為μo(500g) 2019/1/18 Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 檢定統計量: 樣本平均數與虛無假說所設定母體平均數的差異以抽樣誤差倍數表示。 樣品平均值為485 g與虛無假說所設定母體平均數500 g的差異為-15 g,是抽樣誤差-3倍。 在虛無假說下,抽樣誤差-3倍或比-3倍更大的抽樣誤差發生機率-p-value 30 2019/1/18 2019/1/18 Jen-pei Liu, PhD Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 問題: p-value要多小,才可下推翻虛無假說的決策? 答案:小於顯著水準。 顯著水準:吾人可容忍的型I錯誤發生的機率。 若顯著水準定為0.05表示20次推翻虛無假說的決策中可允准一次錯誤(即有一次虛無假說為真)。或1000次推翻虛無假說的決策中可允准50次錯誤(即有50次虛無假說為真) 31 2019/1/18 2019/1/18 Jen-pei Liu, PhD Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 問題: p-value要多小,才可下推翻虛無假說的決策? 答案:小於顯著水準。 若顯著水準定為0.05 樣本平均值為485時的p-value是0.0013 1000次推翻虛無假說的決策中可能犯1.3次錯誤,小於可容忍的50次。 32 2019/1/18 2019/1/18 Jen-pei Liu, PhD Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 決策判定: 因p-value = 0.0013小於0.05的顯著水準 推翻虛無假說。 樣本平均值為485g與虛無假說所假設500g的差異在5%顯著水準下為統計顯著(statistically significant)。 統計假說檢定又稱顯著性檢定。 33 2019/1/18 2019/1/18 Jen-pei Liu, PhD Jen-pei Liu, PhD

P-value=P[Z z∣ μ=μo(500g) ] 在Ho:μ=μo(500g) 時 得到 或比 更小的樣品平均值之機率 若 比μo小很多時 P-value小=>樣品所提供之證據     不支持Ho:μ=μo(500g) 當P-value小於吾人所定之顯著水準 (可容忍型Ⅰ錯誤機率)拒絕Ho P-value=P[Z z∣ μ=μo]<α =>拒絕Ho 2019/1/18 Jen-pei Liu, PhD

例:奶粉罐重量 Ho:μ 500g vs. Ha: μ 500g 若α=0.05,拒絕Ho 2019/1/18 Jen-pei Liu, PhD

0.05 0.0013 485 490.13 μo=500g 2019/1/18 Jen-pei Liu, PhD

485 490 495 μo=500g 2019/1/18 Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 5.決策判定: 顯著水準定為0.05(1/20) 樣本平均值 p-value 決策判定 495 0.1587 不顯著(無法推翻虛無假說) 490 0.0228 顯著(推翻虛無假說) 485 0.0013 顯著(推翻虛無假說) 2019/1/18 Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 5.決策判定: 顯著水準定為0.20(1/5) 樣本平均值 p-value 決策判定 495 0.1587 顯著(推翻虛無假說) 490 0.0228 顯著(推翻虛無假說) 485 0.0013 顯著(推翻虛無假說) 2019/1/18 Jen-pei Liu, PhD

統計假說檢定或顯著性檢定(Statistical Hypothesis Testing or Significance Test) 5.決策判定: 顯著水準定為0.01(1/100) 樣本平均值 p-value 決策判定 495 0.1587 不顯著(無法推翻虛無假說) 490 0.0228 不顯著(無法推翻虛無假說) 485 0.0013 顯著(推翻虛無假說) 2019/1/18 Jen-pei Liu, PhD

例:膽固醇 Ho:μ=180mg/dL vs. Ha: μ 180mg/dL 雙尾檢定 若α=0.05,無法拒絕Ho 2019/1/18 Jen-pei Liu, PhD

例:雞蛋每月平均產量 Ho:μ 21/月 vs. Ha: μ 21/月 月] 若α=0.05,拒絕Ho 2019/1/18 Jen-pei Liu, PhD

信賴區間與假說檢定 若(1-α)%信賴上限小於μo 則拒絕Ho 則拒絕Ho 則拒絕Ho 則拒絕Ho 雙尾檢定:Ho:μ=μo vs. Ha:μ μo 若(1-α)%信賴區間不包括μo 則拒絕Ho 單尾檢定: Ho:μ μo vs. Ha:μ μo 若(1-α)%信賴上限小於μo 則拒絕Ho 則拒絕Ho 則拒絕Ho 2019/1/18 Jen-pei Liu, PhD 則拒絕Ho

信賴區間與假說檢定 若(1-α)%信賴下限大於μo 則拒絕Ho 則拒絕Ho 單尾檢定: Ho:μ  μo vs. Ha:μ > μo 2019/1/18 Jen-pei Liu, PhD

例:奶粉罐重量 Ho:μ 500g vs. Ha: μ 500g 在5%顯著水準下,拒絕Ho 2019/1/18 Jen-pei Liu, PhD

例:膽固醇 Ho:μ=180mg/dL vs. Ha: μ 180mg/dL =>在5%顯著水準下,無法拒絕Ho 2019/1/18 Jen-pei Liu, PhD

例:雞蛋每月平均產量 Ho:μ 21/月 vs. Ha: μ 21/月 =>在5%顯著水準下,拒絕Ho 2019/1/18 Jen-pei Liu, PhD

雙尾檢定 拒絕Ho 拒絕Ho 拒絕Ho 若σ未知但n 30以S代之 Ho:μ=μo vs. Ha:μ μo 決策 2019/1/18 Jen-pei Liu, PhD

單尾檢定 拒絕Ho 拒絕Ho 拒絕Ho 若σ未知但n 30以S代之 Ho:μ μo vs. Ha:μ<μo 決策 2019/1/18 Jen-pei Liu, PhD

單尾檢定 拒絕Ho 拒絕Ho 拒絕Ho 若σ未知但n 30以S代之 Ho:μ μo vs. Ha:μ>μo 決策 2019/1/18 Jen-pei Liu, PhD

統計顯著vs.應用顯著vs. 樣本數 樣本平均值=499g,母體平均值=500g 樣本平均值 -母體平均值 = -1g 母體標準偏差=30g 樣本數 /n z p-value 100 3 -0.33 0.3707 1600 0.75 -1.33 0.0918 3600 0.5 -2 0.0228 10000 0.33 -3.33 0.0012  0 - 0 2019/1/18 Jen-pei Liu, PhD

統計顯著vs.應用顯著vs. 樣本數 樣本數增加,抽樣誤差下降。 Z絕對值變大,p-value變小。 統計顯著。 推翻虛無假說。 只要不斷增樣本數,一定可推翻虛無假說,並達到統計顯著。 2019/1/18 Jen-pei Liu, PhD

統計顯著vs.應用顯著vs. 樣本數 1g差異的統計顯著,並無實用上意義。 必須先訂出實用上有意義的差異。 降血壓新藥降舒張壓的效果較安慰劑多5 mmHg。 在規劃的顯著水準(如5%)與檢定力(power如80%)下,計算所需樣本數後,收集資料進行顯著性檢定。 2019/1/18 Jen-pei Liu, PhD

檢定力(Power) 奶粉罐重量 Ho:μ 500g vs. Ha: μ 500g 以 表示棄卻域 若觀測到 拒絕Ho 2019/1/18 Jen-pei Liu, PhD

485 490.13 500 2019/1/18 Jen-pei Liu, PhD

若Ha下 =a=496.13 根據決策 其決策為正確之機率 拒絕Ho 1-β=P[拒絕Ho∣ Ha為真] 2019/1/18 Jen-pei Liu, PhD

α=0.05 μo=500 1-β=0.1587 2019/1/18 μa=496.13 Jen-pei Liu, PhD 490.13

設 若 2019/1/18 Jen-pei Liu, PhD

α=0.10 μo=500 1-β=0.263 μa=496.13 2019/1/18 492.32 Jen-pei Liu, PhD

若μa=484.13 1-β=P[拒絕Ho∣ Ha為真] 2019/1/18 Jen-pei Liu, PhD

α=0.05 μo=500 1-β=0.8413 μa=484.13 490.13 2019/1/18 Jen-pei Liu, PhD

1. μa與μo差愈大時,檢定力愈高 2. α↑β↓,或α↓β↑ α↑Power↑,或α↓Power↓ 3. 在固定樣品數下無法同時降低α及β 4. 增加樣品數可同時降低α及β 2019/1/18 Jen-pei Liu, PhD

單尾檢定: 檢定力: 檢定力: 雙尾檢定: 檢定力: 2019/1/18 Jen-pei Liu, PhD

樣品數計算公式 單尾檢定: 雙尾檢定: 2019/1/18 Jen-pei Liu, PhD

例:奶粉罐重量 單尾檢定: 雙尾檢定: 增加25% 2019/1/18 Jen-pei Liu, PhD

總結(Summary) 1. 設立虛無與對立假說(雙尾,單尾) 2. 決定顯著水準(型Ⅰ誤差機率)α=0.05或α=0.01 3. 決定棄卻域 4. 選擇檢定統計量 5. 收集資料,計算檢定統計量 6. 進行決策判定 2019/1/18 Jen-pei Liu, PhD

習題 P. 163: 1, 2, 6, 7 2019/1/18 Jen-pei Liu, PhD

臺灣大學 劉仁沛教授 頁碼 作品 授權條件 作者/來源 1-68 轉載自 Microsoft Office 2003多媒體藝廊, 22 臺灣大學 劉仁沛教授 26 36 37 2019/1/18 Jen-pei Liu, PhD

頁碼 作品 授權條件 作者/來源 55 臺灣大學 劉仁沛教授 57 59 61 2019/1/18 Jen-pei Liu, PhD