期末報告-- [ridge regression]

Presentation on theme: "期末報告-- [ridge regression]"— Presentation transcript:

1 期末報告-- [ridge regression]
姓名：秦暐峻

2 Outline Algorithm Introduction Code Review Model Preview
Live Demo(Using InAnalysis) Conclusion Reference

3 Algorithm Introduction
Regression – 迴歸 迴歸分析是建立因變數Ｙ與自變數Ｘ之間關係的模型 (維基百科) 來源：

4 Algorithm Introduction
Regression – 迴歸 迴歸分析是建立因變數Ｙ與自變數Ｘ之間關係的模型 (維基百科) 找到一個可以預測結果的函數(Function) 來源：

5 Algorithm Introduction
Regression – 迴歸 迴歸分析是建立因變數Ｙ與自變數Ｘ之間關係的模型 (維基百科) 找到一個可以預測結果的函數(Function) 𝑓 = 性別(男/女) 來源：

6 Algorithm Introduction
Regression – 迴歸 迴歸分析是建立因變數Ｙ與自變數Ｘ之間關係的模型 (維基百科) 找到一個可以預測結果的函數(Function) 𝑓 = 購買意願 來源：

7 Algorithm Introduction
Linear Regression – 線性迴歸 當因變數Ｙ為continuous的資料 找到一個可以預測結果的函數(Function) 來源：

8 Algorithm Introduction
Linear Regression – 線性迴歸 當因變數Ｙ為continuous的資料 找到一個可以預測結果的函數(Function) 𝑓 = 明日股價 來源：

9 Algorithm Introduction
Linear Regression – 線性迴歸 當因變數Ｙ為continuous的資料 找到一個可以預測結果的函數(Function) 預測值 係數 特徵 𝑦=𝑏+ 𝑤 𝑖 𝑥 𝑖 𝑓 = 明日股價 來源：

10 Algorithm Introduction
Linear Regression – 線性迴歸 建立 Loss function 來源：

11 Algorithm Introduction
Linear Regression – 線性迴歸 建立 Loss function 來源：

12 Algorithm Introduction
Overfitting Problem Underfitting Overfitting 雖然在Traing data取得最低的Loss,但無法對Testing data進行良好預測 來源：

13 Algorithm Introduction
Overfitting Problem – Regularization (正規化) 藉由正規化降低係數，讓函數較平滑，避免Overfitting 來源：

14 Algorithm Introduction
Ridge Regression – 利用L2范數來做正規化 來源：

15 Algorithm Introduction
Ridge Regression – 利用L2范數來做正規化 L2-norm λ 太大 -> underfitting λ 太小 -> overfitting Lamda 來源：

16 Algorithm Introduction
Ridge Regression – 利用L2范數來做正規化 L2-norm Lamda L2：所有元素的平方和開根號 對於權重進行約束，使w趨近於0但不等於0 (每個特徵都有權重，無法對特徵選擇) 來源：

17 Algorithm Introduction
Ridge Regression – 利用L2范數來做正規化 L2-norm Lamda L2：所有元素的平方和開根號 對於權重進行約束，使w趨近於0但不等於0 (每個特徵都有權重，無法對特徵選擇) -> L1 Lasso Regression 來源：

18 Code Review 在各演算法子類別中實作 繼承 algo_component 中的 ParamsDefinitionSet 類別

19 Code Review Scikit linear_model中的Ridge

20 Code Review 在utils建立演算法物件

21 Code Review 建立Unittest進行測試

22 **Bonus: Model Preview
用sklearn中的diabetes資料

23 Live demo

24 Conclusion 總結 對於機器學習過程更加熟悉(系統流程明確) 了解不同類型的預測問題 實作演算法的架構

25 Reference 參考 維基百科-迴歸分析 Regression演算法 Ridge & LASSO & Elastic Net 機器學習：正規化