統計學: 應用與進階 第3 章: 隨機變數

隨機變數(random variables) 間斷隨機變數(discrete random variables) Bernoulli 分配(Bernoulli distribution) 連續隨機變數(continuous random variables) 均勻分配(uniform distribution) 連續隨機變數之函數 動差生成函數(moment generating functions)

隨機變數 令X 代表由狀態空間映射到實數線的函數: 則稱X 為一個隨機變數。

隨機變數 隨機變數: 將出象或事件以數值表示 原始動機可能是來自於賭博 隨機變數是一個函數, 隨機變數不是變數!

例子: 擲一個六面骰子兩次 令 e = {i , j} = {第一次擲出點數,第二次擲出點數} 賭局的報酬為X(e) = max(i , j) 舉例來說, 如果我們擲出e = {2, 3}, 則贏3 元。

狀態空間與所映射的隨機變數值

單變量隨機變數 Full description: 機率分配 Average outcome: 期望值 Dispersion of outcomes: 變異數, 標準差

多變量隨機變數 Full description: 聯合機率分配 Comovement of outcomes: 共變數, 相關係數 Generating new random variables out of old random variables (eg. 個股報酬⇒ 資產組合報 酬)

Notations 隨機變數: X (ex ante) 隨機變數實現值(realizations): x (ex post) Notation: X = x

間斷隨機變數(discrete random variables) 如果隨機變數實現值的數目為有限的(finite) 或 是無限但是可數(countably infinite), 則稱之為 間斷隨機變數 例子: 擲一個六面骰子所得到的點數(有限) 餐廳營業一天的登門客人數目(無限但是可數)

間斷隨機變數 令X 為一間斷隨機變數, 則其任一實現值發生之機率定義為 P(X = x) = P({ω : X(ω) = x}). 隨機變數X 為實現值x 的機率事實上就是來自 ω 事件(此事件符合X(ω) = x ) 發生的機率

例子: 擲銅板的賭局 擲不公正銅板, 出現正面的機率為2/3, 出現反面的機率為1/3 令隨機變數X = 1 當出現正面, X = −1 當出現反面 則P(X = 1) 與P(X = −1) 分別為 P(X = 1) = P({ω : X(ω) = 1}) = P({正面}) = 2/3 P(X = −1) = P({ω : X(ω) = −1}) = P({反面}) = 1/3

間斷機率分配: 機率質量函數 給定間斷隨機變數X 的實現值來自可數的集合 B ⊆ 。函數f (x) : → [0, 1] 定義為 且滿足 我們稱f (x) 為機率質量函數(probability mass function), 簡稱pmf

顯而易見地, 根據機率質量函數之定義, 當x B, 則 f (x) = 0, 從而機率質量函數f (x) 的定義域 (domain) 可以為整個實數線此外, 我們也將B 稱作 隨機變數X 的砥柱集合(support)

砥柱集合 給定一隨機變數之實現值使其機率不為零的集合 {x : f (x) > 0}, 稱為此隨機變數的砥柱集合(support), 以supp(X)表示之

砥柱集合 因此, 機率質量函數定義中的性質可以改寫成 1 2

砥柱集合: 例子 以之前擲銅板的賭局為例, 我們可以寫出如下的間斷機率分配: 而其砥柱集合則為supp(X) = {1,−1}

累積分配函數(cumulative distribution function) 給定任何實數x, 函數F(x) : R 7→ [0, 1] 滿足 F(x) = P(X ≤ x), 則稱F(x) 為累積分配函數, 簡稱CDF, 一般又稱 分配函數

累積分配函數的相關性質

例子: 擲銅板的賭局 我們知道其pmf 與CDF 分別為

機率質量函數: 擲銅板賭局

累積分配函數: 擲銅板賭局

間斷隨機變數之動差 一般來說, 描繪隨機變數特性的最佳方式就是以機率分配刻劃其全貌 為了簡化分析, 有時我們僅對用來刻劃隨機變數部份特性的動差(moments) 有興趣

u = u(期望報酬,變異數) = u(E(X), Var (X)), 間斷隨機變數之動差 譬如說, 當我們購買風險性資產時, 假設其報酬為X。由於面對不確定性, 因而X 為一隨機變數。一般的經濟理論會假設人們的效用函數中僅考慮報酬期望值(一階動差) 與變異數(二階中央動差): u = u(期望報酬,變異數) = u(E(X), Var (X)), 而變異數事實上就是用於衡量該資產的風險

期望值 隨機變數X 的期望值(expectation, expected value) 定義為 我們常用希臘字母μ (讀作mu) 代表期望值。 期望值又稱均數(mean), 事實上就是X 所有可能實現值以機率為權數的加權平均(weighted average) 期望值所衡量的, 就是隨機變數「平均而言」會出現的值

期望值 值得注意的事情是, 期望值是將隨機變數所有可能的實現值, 依其可能發生的機率加權後加總得來, 因此期望值是一個確定的值, 是一個常數,不再是隨機變數 為了避免符號上的複雜, 我們將假設所有加總的範圍都是隨機變數的砥柱集合, 亦即除非另有說明, 我們將以 取代

期望值的性質 給定X 為一間斷隨機變數, 則 一般而言, 除非g(·) 為線性函數(linear function), 要不然 舉例來說,

變異數 隨機變數X 的變異數(variance) 定義為 我們常用希臘字母 ( σ 讀作sigma) 代表變異數 變異數是用來衡量所有可能實現值偏離均數的 間斷程度

變異數 由於我們將隨機變數減去其均數後再平方, 使得變異數的單位難以定義。舉例來說, 如果X 代表賭資, 則期望值的單位為元, 而變異數的單位為元的平方, 不具任何意義 因此, 我們將變異數開平方根, 得到單位具有意義的間斷程度衡量, 稱之為標準差(standard deviation):

重要性質

動差(moments) 與中央動差(central moments) 隨機變數X 的r 階動差與r 階中央動差分別為 r 階動差 r 階中央動差 因此, 一階動差就是隨機變數的期望值; 而二階中央動差就是隨機變數的變異數

動差的功能 動差可以幫助我們描繪(summarize) 隨機變數(猶如以身高, 體重, 膚色, 髮色等來描繪一個人) 舉例來說, 常態分配(之後有詳盡介紹) 可以只用一階與二階動差予以刻畫

將常數視為一隨機變數 給定常數k, 若將之視為一隨機變數, 則 E(k) = k, 且 Var (k) = 0.

間斷隨機變數的一個例子: Bernoulli 分配 給定隨機試驗只有兩個出象, 例如擲銅板, 支持或不支持特定候選人之民調, 品質管制(良品或不良品) 等, 這樣的隨機試驗我們稱之 Bernoulli 試驗(Bernoulli trials)

Bernoulli 隨機變數(Bernoulli random variables) 如果X 的機率分配為 其中X = 1 代表出象為成功(success); X = 0 代表出象為失敗(failure), 則我們稱X 為具有成功機率p的Bernoulli 隨機變數, 並以X ∼Bernoulli(p) 表示之

Bernoulli 隨機變數 值得注意的是, 我們對於出象為成功或失敗, 可以自由設定。譬如說, 我們可以設定擲銅板出現正面為成功(X = 1), 出現反面為失敗(X = 0)。然而反之亦可 Bernoulli 隨機變數的可能實現值非0 即1, 因此其砥柱集合為

Bernoulli 隨機變數 Bernoulli 隨機變數的pdf 為 也可寫成

Bernoulli 隨機變數 Bernoulli 隨機變數

Bernoulli 隨機變數 Bernoulli 隨機變數的期望值, 二階動差與變異數分別為

連續隨機變數 如果隨機變數X 理論上的可能實現值為任一區間中的任意實數, 則X 就稱作為一個連續隨機變數, 舉例來說, 明天的降雨量, 下一尾上鉤的魚的體重, 或是電池的壽命等 定義連續隨機變數最簡單的方法是由累積分配函數出發 累積分配函數的定義為F(x) = P(X ≤ x), 因此, 如果F(·) 函數為連續且可微分, 則稱X 為一連續隨機變數

連續隨機變數 給定函數f : R → R 以及任意實數a ≤ b, 使得 = (f 曲線下, 橫軸之上, a 到b 的面積), 則稱X 為一連續隨機變數, 且f (x) 稱為X 的機率密度函數(probability density function)。我們要求

機率密度函數

連續隨機變數 對於連續隨機變數, 我們所計算的是一段區間, 如(a, b), 所發生的機率, 而非可能實現值個別發生的機率, 因為任何一個可能實現值發生的機率必須為0: P(X = x) = 0 理由在於, 連續隨機變數的可能實現值有無窮多個且不可數 為什麼我們可以無中生有?

連續隨機變數的性質 假設 單調非遞減

累積分配函數

連續隨機變數之動差 期望值 變異數

連續隨機變數之動差 r 階動差 r 階中央動差

均勻分配 我們將在之後討論一些常用且重要的連續隨機變數, 在此, 我們先介紹一個簡單的連續隨機變數: 均勻分配(uniform distribution)。

均勻分配 給定隨機變數X 在區間[l , h] 中, 其實現值落在任意一個子區間[a, b] 的機率恰為 則稱X 為一均勻隨機變數, 其pdf 為 並以X ∼ U[l , h] 表示之

均勻分配 均勻隨機變數的CDF 為

均勻分配(期望值, 二階動差與變異數)

Chebyshev 不等式 給定隨機變數X ∼ (μ, 2), 對於任意常數 k > 0, 由於不等式可改寫成 因此, 這個不等式告訴我們, 至少有1 − 的機 率, 隨機變數X 會落在區間μ ± kσ 內

Chebyshev 不等式 舉例來說, 若 k = 2, 則至少有(1 − 1/4) = 3/4 = 75% 的機率X 會落在區間μ ± 2 σ 內。

Laws of Expected Value… E(c) = c The expected value of a constant (c) is just the value of the constant. E(X + c) = E(X) + c E(cX) = cE(X) We can “pull” a constant out of the expected value expression (either as part of a sum with a random variable X or as a coefficient of random variable X).

E(c) = c Proof:

E(X + c) = E(X) + c Proof:

E(cX) = cE(X)

E(X1+X2)=E(X1)+E(X2) (X1, X2具相同分配 P（X）) Proof:

Laws of Variance… V(c) = 0 The variance of a constant (c) is zero. V(c) = 0 The variance of a constant (c) is zero. V(X + c) = V(X) The variance of a random variable and a constant is just the variance of the random variable (per 1 above). V(cX) = c2V(X) The variance of a random variable and a constant coefficient is the coefficient squared times the variance of the random variable.

V(c) = 0 Proof:

V(X + c) = V(X) Proof:

V(cX) = c2V(X) Proof: