Some Important Probability Distributions chapter four Some Important Probability Distributions

The Key Concepts The Normal Distribution Standard Normal Distribution Random Sample and Sampling Distribution (of an estimator) Standard Error Central Limit Theorem The ,t, and F Distribution

I. The Normal Distribution 最常使用的連續隨機變數機率分配為常態分配,通常表示為: (其PDF請見p.78附註1) X~ Properties of normal distribution(p.78 point 1~6) point 4:常態分配可以完全被其期望值與變異數所描述. point 5:多個常態分配隨機變數的線性組合仍為常態分配. point 6:常態分配的偏態係數為零,峰態係數為3.

I. The Normal Distribution Figure 4-1 Areas under the normal curve.

I. The Normal Distribution Figure 4-2 (a) Different means, same variance; (b) same mean, different variances; (c) different means, different variances.

I. The Normal Distribution 標準常態分配(standard normal distribution) 將常態分配之隨機變數X標準化,可得到所謂的標準常態分配隨機變數Z Z = ~ N(0,1) 再透過標準常態分配累積機率圖(表A-1(a)(b))計算 機率值. Example 4.2(p.81): X~N(70, 9), =0.0475 Example 4.4(p.83):

I. The Normal Distribution Figure 4-3 (a) PDF and (b) CDF of the standard normal variable.

I. The Normal Distribution 如何由常態分配母體產生隨機樣本(random sample) 許多統計軟體皆提供random number generator (亂數產生器)的功能,可以由設定的母體機率分配去隨機製造出樣本(表4.1為根據N(0,1)與N(2,4)產生的25個樣本). 樣本均數 的抽樣分配(Sampling or probability distribution) 樣本均數 為母體期望值的估計式,不同的樣本就得到不同的估計值,故 亦可視為隨機變數,而若符合隨機抽樣,也可推導出其機率分配(抽樣分配).

I. The Normal Distribution Table 4-1 25 Random numbers from N(0, 1) and N(2, 4).

I. The Normal Distribution 隨機抽樣(random sampling): constitutes a random sample of size n if all these are drawn independently from the same probability distribution. The thus drawn are known as i.i.d. (independently and identically distributed) random variables. 估計式抽樣分配的直覺說明: Example 4.6 (p.85) 母體 N(10,4),隨機抽樣20次,產生20組觀察值各20個的隨機樣本,根據樣本均數估計式得到20個樣本平均值(表4.2),將之依出現次數整理於表4.3 (frequency distribution),並繪圖如圖4.4.當我們重覆抽樣越多次,該圖會越接近於常態分配圖形.

I. The Normal Distribution Table 4-2 20 Sample means from N(10, 4).

I. The Normal Distribution Table 4-3 Frequency distribution of 20 sample means.

I. The Normal Distribution Figure 4-4 Distribution of 20 sample means from N(10, 4) population.

I. The Normal Distribution 根據統計理論,若 為來自 的隨機樣本,則樣本均數 的機率分配為(problem 4.5): (4.6) 稱為樣本均數的標準誤(standard error,se).根據(4.6)式,example 4.6中 =10, =0.2.而根據樣本計算出之 =10.052, =0.339.看起來似乎在樣本變異數有蠻大的差異,這是因為後者為僅根據20次重覆抽樣所計算出來的,當重覆抽樣次數越多,會越接近理論(4.6)式值.

I. The Normal Distribution 同理,也可將(4.6)式 隨機變數予以標準化: ~ N(0,1) Example 4.7: Given X~N(20,4) and n=25,what are , and ? Central Limit Theorem (CLT)(中央極限定理) If is a random sample from any probability distribution with mean and variance ,the sample mean tends to be normally distributed with mean and variance as the sample size increases indefinitely.

I. The Normal Distribution Figure 4-5 The central limit theorem: (a) Samples drawn from a normal population (b) samples drawn from a non-normal population.

II. The Chi-Square ( ) Probability Distribution 定義: 令 為k個獨立的標準常態隨機變數,則其平方加總後之隨機變數遵循自由度為k的卡方分配,即(圖4.7) ~ 卡方分配的性質(p.94 point 1~4) point 3:期望值為自由度k,變異數為兩倍自由度2k point 4:兩個獨立的卡方隨機變數(自由度為 和 )相加成為自由度 + 的卡方分配隨機變數. 卡方分配表(table A-4):example 4.13查表

II. The Chi-Square ( ) Probability Distribution Figure 4-7 Density function of the X2 variable.

II. The Chi-Square ( ) Probability Distribution 應用(example 14.4):令 為樣本變異數 ,若X為變異數 的常態分配隨機變數,則 (4.11) 例:X~N( ,8),令n=20,則得到 =16的機率約僅0.005. Note on degree of freedom: the number of d.f. means the number of independent observations available to compute a statistic.

III. The Student’s t Distribution 定義:令 為標準常態分配隨機變數, 為自由度k的卡方分配隨機變數,則 為自由度k的t分配隨機變數 表示為 . 應用:已知 ,若其中變異數 未知,以 樣本變異數 取代,則以下隨機變數遵 循自由度n-1的t分配:

II. The Student’s t Distribution t分配的性質(p.90) 平均數為零,變異數為k/k-2(k為自由度).故t分配的變異數大於標準常態分配(flatter),當k增加,t分配會越趨近於標準常態分配(圖4.6). 例子:查t分配表(table A-2) example 4.8:回例4.2,現假設15天麵包的日平均銷售量為74,樣本標準差4,請問若真實的平均日售量為70,則得到此銷售量的機率? t = 3.873,查表可知機率低於0.001.

II. The Student’s t Distribution Figure 4-6 The t distribution for selected degrees of freedom (d.f.).

IV. The F Distribution 定義:令 與 彼此獨立,自由度 和 的卡方分配隨機變數,則下列隨機變數為F分配(圖4.8) 應用:變異數是否相等的檢定 假設有兩組隨機樣本 與 ,分別來自母體 和 ,今欲檢定 .在虛無假設成立下,以下隨機變數遵循F分配

IV. The F Distribution Figure 4-8 The F distribution for various d.f.

IV. The F Distribution F分配的性質(p.97 point1~4) point 3: = point 4: 例子: F分配查表(table A-3) Example 4.15:回到例4.12,現假設該表中數字為樣本平均數與變異數,且母體皆為常態分配隨機變數,請問male verbal與female verbal母體的變異數是否相等?