第 5 章 簡單線性迴歸之矩陣方法.

Presentation on theme: "第 5 章 簡單線性迴歸之矩陣方法."— Presentation transcript:

1 第 5 章 簡單線性迴歸之矩陣方法

2 5.1矩陣 矩陣之定義 對於一個具有r列c行之矩陣我們可以表示為： (5.1) 或是採用簡略之形式 甚至直接以A作為表示方式。

3 方陣 向量 轉置 在一般的情形下，A矩陣轉置的規則為： (5.2) 其轉置矩陣為： (5.3) 所以在矩陣A中的第i列第j行的元素，轉置後出現在矩陣 中的第j列第i行。

4 矩陣相等

5 5.2 矩陣之加法與減法 一般而言，如果 則 (5.8) (5.8)式可以一般化推廣至多於兩個矩陣之加減運算，而且與一般代數規則有相同的性質：A + B = B + A。

6

7 5.3 矩陣相乘 純量與矩陣之相乘 一般而言，當 ，而k為一個純量，則 (5.11) 兩矩陣之相乘
一般而言，當矩陣A之階數為r × c，而矩陣B之階數為c × s，則乘積AB之階數為r × s，且其第i列第j行的元素為： 所以我們可以得到： (5.12)

8

9 5.4 特殊矩陣 對稱矩陣 當 ，則矩陣A為對稱矩陣 對角線矩陣 當矩陣之主對角線以外的元素均為零，則此矩陣為一個對角線矩陣 單位矩陣
單位矩陣之符號習慣上用I來表示，該矩陣主對角線之元素均為1，而主對角線以外的元素均為零，任意矩陣乘上或被乘上相同階數的單位矩陣，其結果不變，

10 所以對於一個r × r之矩陣A，我們有 (5.16) 純量矩陣 純量矩陣為主對角線元素均相同之對角線矩陣 元素全為一之向量與矩陣 當行向量內所有的元素均為1，我們用符號1來表示， (5.17)

11 而對於方陣內所有的元素均為1，我們用符號J來表示，
(5.18) 零向量 零向量是指向量內所有的元素均為0，我們用符號0來表示： (5.19)

12 5.5 線性相依與矩陣的秩 線性相依 如果存在c個不全為0之純量k1,…, kc，可以滿足： (5.20)
則c個向量C1, …,Cc為線性相依；反之，若滿足k1C1 + k2C2 + … + kcCc = 0之唯一條件為k1 = k2 = … = kc = 0 ，則c個向量C1, …, Cc為線性獨立。 矩陣的秩

13 5.6 反矩陣 在矩陣代數中，矩陣A的反元素我們用符號 來表示，同時有性質： (5.21)

14

15 反矩陣之求法 1.矩陣 則 (5.22) 其中， (5.22a) D稱為矩陣A之行列式值，當矩陣A為奇異，則D = 0，而矩陣A之反矩陣不存在。

16 2.矩陣 則 (5.23) 其中， (5.23a)

17 且 (5.23b) Z稱為矩陣B之行列式值。

18 反矩陣之使用

19 5.7 矩陣之基本定理 一些常用的矩陣基本定理： (5.25) (5.26) (5.27) (5.28) (5.29)

20 (5.30) (5.31) (5.32) (5.33) (5.34) (5.35) (5.36) (5.37)

21 5.8 隨機向量與矩陣 隨機向量與矩陣之期望值 一般情形下，一個隨機向量Y之期望值我們可以表示為： (5.38)
而對於一個階數為n × p之隨機矩陣Y，我們可以將其期望值表示為： (5.39)

22

23 隨機向量之共變異矩陣 我們可以用來表示Y的共變異矩陣： (5.40) 由於 (5.41) 在上述的例子中，我們有：

24 經過矩陣之相乘運算，並取期望值後，我們可以得
到下面結果： 將上述結果推廣至一個n × 1的隨機向量Y，其共變 異矩陣為： (5.42)

25

26 基本定理 有時我們經常會遇到一個常數矩陣A（元素固定之矩陣），乘上一個隨機向量Y，而形成一個隨機向量W如下： (5.43) 則可能會用到一些基本定理： (5.44) (5.45) (5.46) 其中， 為Y的共變異矩陣。

27

28 多元常態分配 密度函數 我們先定義一些向量與矩陣，假設觀測值向量Y是由p個Y變數所組成，則習慣上可以寫成： (5.47) 我們用符號表示向量Y之期望值E{Y}，所以 (5.48)

29 最後，Y的共變異矩陣 用符號 來表示： (5.49) 所以，對於一個多元常態分配的密度函數，我們可 以寫成： (5.50) 其中， 表示共變異矩陣 之行列式值

30 5.9 簡單線性迴歸模型的矩陣表示 在本節中，我們將利用矩陣來處理簡單線性迴歸，首先考慮的是常態誤差迴歸模型(2.1)： (5.51)
亦即， (5.51a)

31 另外我們還需增加迴歸係數所組成的向量： (5.52) 於是我們可以將(5.51a)利用 矩陣做一個較為精簡的表達方式： (5.53) 因為

32 上式中 表示各個觀測值Yi之期望值所組成之向量，而 ，所以
(5.54) 我們可以將條件寫成矩陣之形式： (5.55) 上式所代表之意義為：

33 誤差項之共變異矩陣可以表示如下： (5.56) 而此一共變異矩陣為一個純量矩陣，所以我們可以進一步表示為： (5.56a) 因此常態誤差迴歸模型(2.1)寫成矩陣形式為： (5.57)

34 5.10 迴歸參數的最小平方估計 標準方程式 在第1章中的(1.9)式之標準方程式： (5.58) 用矩陣形式表示則為： (5.59)
其中b為最小平方法估計下的迴歸係數向量： (5.59a)

35 迴歸係數之估計 透過(5.59)的矩陣形式之標準方程式運算出所估計的迴歸係數，必須先假設 的反矩陣存在，然後在等號兩邊同時乘上 的反矩陣： 由於 ，而Ib = b，所以 (5.60)

36

37

38 5.11 配適值與殘差 配適值 在矩陣向量的形式中，我們可以用向量 來表示各個配適值 ： (5.70) 然後用矩陣代數： (5.71)

39 因為：

40 帽子矩陣　 應用(5.60)中的b公式可以將(5.71)的 寫成 亦即 (5.73) 其中， (5.73a) 矩陣H為一個對稱矩陣，並且具備一個冪等性的特殊性質： (5.74) 在矩陣代數中，當矩陣M滿足MM = M時，則稱該矩陣為冪等的。

41 殘差 我們將殘差 所組成之向量用符號e表示： (5.75) 透過矩陣代數，我們有： (5.76)

42

43 5.12 變異數分析 平方和 首先我們從(2.43)有關於SSTO之定義開始，進行有關於如何利用矩陣來表達變異數分析： (5.81)
而(5.13)為： 透過(5.18)所定義之矩陣J，我們可以將 表示為： (5.82)

44 因此SSTO可以表示為： (5.83) 同理， ，也可以透過矩陣來表達： (5.84) 而且可以證明出下面的結果： (5.84a) 以及SSR： (5.85)

45

46 平方和的二次式表示 對於ANOVA中的平方和，事實上我們均可以證明它們為二次式，例如n = 2時，觀測值Yi的二次式： (5.86) 就是一個二階的多項式，該多項式之各項均為觀測值之平方或是兩兩之乘積，用矩陣表示(5.86)如下： (5.86a) 其中，A為一個對稱矩陣。

47 一般對於二次式之定義為： (5.87) 而A為一個n × n之對稱矩陣，我們特別稱它為二次式矩陣。 ANOVA中的平方和：SSTO、SSE、SSR都是二次式。從(5.71)式應用(5.32)可以得到： 利用(5.73)之結果可得出：

48 因H為對稱矩陣，並利用(5.32)可得： (5.88) 此一結果可以讓我們以下列方式表示ANOVA中之 平方和： (5.89a) (5.89b) (5.89c)

49 每個平方和均可以表示為 ，相對應的A矩陣則為：
(5.90b) (5.90c)

50 5.13 迴歸分析推論 迴歸係數 迴歸係數向量b，有下面的共變異矩陣： (5.91) 我們可以表示為： (5.92)

51 或是應用(5.24a)，表示為： (5.92a) 用MSE取代(5.92a)中的，可以得到b之估計的共變異 矩陣 ： (5.93)

52

53 平均反應 在此我們將針對Xh進行平均反應之估計，首先定義向量： (5.95) 用矩陣符號表示其配適值為： (5.96) 因為，

54 在式子(2.29b)中給定 之變異數，利用矩陣形式表
示如下： (5.97) 應用式子(5.92)，(5.93)中 之變異數，可以表示為 估計迴歸係數時，其共變異矩陣 之函數： (5.97a) 在(2.30)中所列出 之估計變異數，在此利用矩陣 形式表示為： (5.98)

55

56 新觀測值之預測 在式子(2.38)中所給的估計變異數 ，用矩陣形式表示為： (5.100)