數位通訊 (Introduction to Digital Communications)

Presentation on theme: "數位通訊 (Introduction to Digital Communications)"— Presentation transcript:

1 數位通訊 (Introduction to Digital Communications)
Chapter 1 機率與隨機變數：複習和符號

2 目 錄 1.1 本章的目的 1.2 機率空間 1.3 隨機變數 1.3.1 隨機變數的分佈與密度函數 1.3.2 期望值、變異數和動差
目 錄 1.1　 本章的目的 1.2　 機率空間 1.3　 隨機變數 1.3.1　隨機變數的分佈與密度函數 1.3.2　期望值、變異數和動差 1.3.3　一些不等式 1.4　 包含多個隨機變數的機率和動差 1.4.1　相關性和共變異數 1.4.2　和與隨機變數的順序 1.5　 高斯隨機變數

3 1.3　 隨機變數 　　在一個機率空間 中，一個實數隨機變數的一般定義是藉由把 X 當成定義在樣本空間  中的一個實數值函數來得到。對於在樣本空間的每個點  來說，X() 是一個實數。對於某些數學和物理的理由，對於每一個實數 u 的選擇，我們必須要求 X 滿足下面的條件

4 集合 S 呈現在圖 1.1。注意在圖 1.1 中的點  是在一個集合 S 中，而  ' 則不是。
圖1.1　事件

5 　　假如 在同樣的機率空間 中都是隨機變數，那麼對每一個在範圍 的 k 還有實數
的每一個選擇 (choice) 來說， 是一個事件。以下式來表示 所以對於每一個正整數 n 還有 的每一個選擇來說，機率的型式為

6 1.3.1 隨機變數的分佈與密度函數 對每一個正整數 n 來說，隨機向量 的分佈函數就是 n 維的分佈函數，並且以 表示，且定義如下式
1.3.1　隨機變數的分佈與密度函數 對每一個正整數 n 來說，隨機向量 的分佈函數就是 n 維的分佈函數，並且以 表示，且定義如下式 對於每一個實數的 選擇 (choice) 來說，此式也等於 (1.1)

7 　　假如分佈函數 是連續的並且有相關的密度函數
，那麼我們就說隨機向量 是一個具有密度 的連續隨機向量。對每個 n 和每一個 的選擇來說，這表示 對所有的 且它們的導數都存在來說，我們可以令 (1.2a) (1.2b)

8 　　假如 X 是一個連續的隨機變數，且有一個分佈函數 FX，對於每一個 u 的選擇來說，它的密度函數 fX 就會滿足
對所有 y 值，且它們的導數都存在來說，我們也可以令 對於這種隨機變數 X 的離散密度函數，以下式來表示 (1.3a) (1.3b) (1.4a)

9 換句話說，已知離散密度函數 fX，那麼它的分佈函數就可以寫成下式
假如 ，(1.4b) 式中的和 (sum) 就可以寫成 假如 ，那麼 (1.4b) 式就可以等於 (1.4b)

10 (1.5a) (1.5b) 連續 k 個正面和連續 (n - k) 個反面發生的順序是
。假如 X 代表獨立投擲銅板 n 次出現正面次數的隨機變數，那麼對 來說 　　假如一個二維的隨機向量 ，X1 和 X2 具有同樣的離散順序集合，那麼離散密度就如下式 換句話說，已知二維的離散密度函數 fX, 2，它的分佈函數可以從下式得到 (1.5a) (1.5b)

11 1.3.2　期望值、變異數和動差 　　假設連續隨機變數 X 有密度函數 fX。X 的期望值 (mean or expected value) 就等於 由於積分存在，我們可以說積分式是絕對可積分的。因此期望值要存在，下式必須存在且為有限的 假如積分式存在，那 X 的二階動差 (second moment) 存在且定義為 (1.6) (1.7)

12 二階動差存在表示期望值存在 ( 可看2.4.1節的練習2.6)。假如二階動差存在而且 ，那麼 X 的變異數可以定義成
假如 X 是一個離散隨機變數且值屬於集合 ，那 X 的期望值如下式 並且說明了 (1.8) (1.9)

13 對於任何具有二階動差的隨機變數來說，二階動差、期望值和變異數的關聯性如下式
假如我們將 展開然後利用和的期望值等於期望值的和，那麼此式就可以由 (1.8) 式導出。在這個例子中，我們可以得到 此式也可以導出 (1.10)。很容易可以看出 (1.10) 式等於 (1.10) (1.11)

14 　　假如 X 是一個隨機變數，g 是通用的 (well-behaved) 函數，那麼 也是一個隨機變數。假如 X 是一個連續的隨機變數，g( X ) 的期望值可由下式求得
(1.12)

15 1.3.3 一些不等式 (Some inequalities)
　　我們以兩個簡單的不等式作為開始，而這兩個不等式只有包含隨機變數的動差 (moment)。從 節，我們知道假如 X 是一個有限二階動差 (second moment)，它的變異數可以寫成 注意 (1.13) 式表示 若且唯若 (if and only if) 期望值等於 0 的情況下，(1.14) 等式會成立。因為 ，所以 (1.13) 給了不等式 (1.13) (1.14) (1.15)

16 　　在一個非負數隨機變數的分佈函數中，對於隨機變數的期望值，馬可夫 (Markov) 不等式提供了一個限制 (bound)。假設一個隨機變數 X 為非負數，那麼表示 。讓 u 是任何正整數，且函數 g 定義如下 對任何 來說，注意 。它是根據 。現在定義隨機變數 ，所以 (1.16)

17 因為 Y 只會有兩個值 0 和 u，所以 (1.9) 式表示了 Y 的期望值為
因此，(1.16) 表示 因為 (1.17)

18 所以 (1.17) 可以等於 　　馬可夫不等式也可以導出其他重要的不等式，像是最出名的 Chebyshev 不等式，此式說明了一個具有期望值  的隨機變數 Z，那麼對於任何正整數  來說 (馬可夫不等式) (1.18) (Chebyshev 不等式) (1.19)

19 對於任何 u > 0 來說，一個 的馬可夫不等式的直接應用為
我們可以令 還有 表示

20 1.4　包含多個隨機變數的機率和動差 　　令 X 和 Y 是在同一個機率空間 中的隨機變數。對所有合適的集合 A 和 B 來說，假如下式成立，那麼 X 和 Y 都是統計獨立 (statistically independent)。 　　假如集合 A 和 B 是區間，但是它們也可以是區間的聯集。對於 X 和 Y 的獨立性，一個必要且充分的條件如下式

21 假如隨機變數 X 和 Y 是聯合 (jointly) 連續且有聯合密度函數 fX, Y，若且唯若 (if and only if) 它們的聯合密度函數是邊界密度 fX 和 fY 的積的時候，它們是統計獨立，也就是 　　假設獨立隨機變數 X 和 Y 是連續且各別具有密度函數 fX 和 fY。假如隨機變數為 Z = X + Y，那麼 Z 也是一個連續隨機變數且它的密度函數滿足 (1.20)

22 1.4.1 相關性和共變異數 (Correlation and Covariance)
　　假如 X 和 Y 是隨機變數，g 是通用的 (well-behaved) 函數，那麼 Z = g( X, Y ) 也是一個隨機變數。假如 X 和 Y 是聯合 (jointly) 連續，那麼 Z 的期望值為 　　假設每一個隨機變數的二階動差 (second moment) 存在。對於 X 和 Y 的相關性 (correlation) 與共變異數 (covariance) 可以被定義為 E{g( X, Y )}的特別例子。對所有實數 u 和 來說，假如 g(u, ) = u，那麼 E{g( X, Y )}是相關性 E{X Y}。 (1.21)

23 假如 ，式中 和 ，那麼 E{g( X, Y )}是共變異數，定義為 : (1.22) 將 (1.22) 右邊的積展開，我們可以發現共變異數和相關性的關係為 　　假如 ，式中 那麼 E{g( X, Y )} 就是相關係數，我們用  表示。它等於 舒瓦茲 (Schwarz) 不等式說明了一點，對任何隨機變數 U和 V 來說， (1.23) (1.24) (證明在p265) (1.25)

24 1.1 請證明對任何隨機變數 X 和 Y 來說都有有限二階動差 (finite second moment)
解答：首先，對每一個 來說，觀察 ，因此 。接下來，令 (1.25) 中的 和 ，並且以 取代 ，所得到的結論為 (1.26) (1.27)

25 對任何一個在 來說，再觀察 ，此式表示 結果可由 (1.27) 和 (1.28) 得知。 (1.28)

26 1.4.2 和與隨機變數的順序 假設在同樣的機率空間 中， 是不相關隨機變數，且定義隨機變數 Z 為
1.4.2　和與隨機變數的順序 　　假設在同樣的機率空間 中， 是不相關隨機變數，且定義隨機變數 Z 為 假如我們想要找出 ，我們可以使用兩個隨機變數相加平方的期望值的方法。首先，觀察

27 利用隨機變數和的期望值是各別隨機變數期望值的和，我們可以發現
因為 ，所以 Z 的二階動差可以從相關性 得到， 。假如 表示 Xn 和 Xm 是正交(因為不相關)，那麼 的表示式可以簡化為 不相關隨機變數和的變異數，等於各別隨機變數變異數的和

28 　　讓  代表任意的正整數，( Yn ) 代表定義在同一個機率空間的一序列 (sequence) ，而全部都被定義在同樣的機率空間中。假設 Y 是這個機率空間的隨機變數且
　　一個具有 的馬可夫 (Markov) 不等式 (1.18) 的應用為 從 (1.31) 中可知，假如 Y 是序列 (Yn) 的均方限制，那麼 (1.30) (1.31) (1.32)

29 　　在一些重要的情況下，收斂是為了要有決定性的常數而不是隨機變數。令 ( Xi ) 為一獨立隨機變數的序列，每一個都有期望值  和變異數 2。藉由下式來定義序列 ( Yn )，對每一個正整數 n 來說
(1.33) 式的右邊為平均或是隨機變數 的樣本期望值 (sample mean)。對每個 n 來說，觀察 和 。從Chebyshev不等式可得到 (1.33)

30 (1.34) (1.35) 以 (1.33) 中的樣本期望值來取代並且取極限，對每個來說，我們可以發現
在機率中，Xi 的樣本期望值 (sample means) 的序列 (sequence) 收斂到 ，對 Xi 來說的共同樣本期望值。結果就是已知的大數法則的弱定理 (weak law of large numbers)。對每一個 i 來說，假如 ( Xi ) 在中的隨機變數也有同樣的分佈函數，那麼我們可以將 Zn 定義為 那麼對任何實數 z 來說 (1.34) (1.35)

31 在(1. 35)式中的函數是標準高斯分佈函數，(1
在(1.35)式中的函數是標準高斯分佈函數，(1.35)式的結果就是中央極限定理。它說明了一點﹐對於獨立且同分佈(identical distribution)及零期望值隨機變數的一個大的數字之適當大小的和來說，分佈函數是一個趨近標準高斯分佈函數。

32 1.5 高斯隨機變數 一個高斯隨機變數 (Gaussian Random Variables) 是一個連續的隨機變數，並且具有密度函數
1.5　高斯隨機變數 　　一個高斯隨機變數 (Gaussian Random Variables) 是一個連續的隨機變數，並且具有密度函數 式中的  是隨機變數 X 的期望值而 2 是 X 的變異數。相對應的分佈函數無法以封閉的型式表示，但是可以用積分的型式表示 (1.36) (1.37)

33 函數  是代表標準高斯分佈函數。它是零期望值、單位變異數 (unit-variance)、高斯隨機變數的分佈函數。假如 X 是一個有期望值  和變異數 2 的高斯隨機變數，那麼
錯誤的機率最好以互補分佈函數 (complementary distribution function) 來表示，定義如下 (1.38)

34 從 (1.37) 和 (1.38) 中應該可以很清楚發現 。而且在 (1.37) 中，用-x 取代 x，u = -y，式子就可以變成 　　雖然對所有函數 Q 來說，沒有真正封閉形式的表示法，但是有很多適合的邊界 (bound) 和近似 (approximation) 可以很容易的被計算出來。在 [1.2]，它秀了一些類似的函數 (1.39)

35 這些函數對於邊界的取得和 Q( x ) 的近似都是很有用的，而 Q( x ) 代表適當的數位通訊系統效能分析。尤其，假如說 a = 1/ 和 b = 2 ，那麼一個 Q( x ) 中的下邊界 (lower bound) 就可以被找出來。將 (1.39) 中的 a 和 b 取代掉，我們就可以很容易找出下邊界的表示式為 　　對於函數 Q 許多系列的近似請參考 [1.1]。對於許多參數的一個選擇來說，這個近似值可以寫成 (1.40) (1.41a)

36 而式中 　　在工程裡面有許多狀況，兩個或兩個以上的隨機變數是高斯，不只個別是高斯，合起來也是。這個觀念可以藉由考慮隨機變數的聯合 (joint) 分佈來解釋。一個方式就是定義聯合高斯隨機變數為它們的聯合密度函數：隨機變數 X 和 Y 可以說是聯合高斯，假如它們的聯合密度函數為下列型式： (1.41b)

37 對 X 來說，1 和 1 為期望值和標準差，對 Y 來說， 2 和 2 為期望值和標準差，還有

38 　　假如這些隨機變數的每一個線性結合是高斯隨機變數，我們說 n 個隨機變數 的集合是聯合高斯。這可由定義知道，n 個隨機變數是聯合高斯，僅當它們的聯合密度函數是高斯的形式。特別是，假如 A 是 n × n 的矩陣，且有 為第 i 列 (row) 和第 j 行 (column) 的元素，而且假如 i 是 的期望值，那麼 X 的聯合 (joint) 密度函數為

39 式中 為矩陣 的行列式 (determinant)， 是矩陣
的反矩陣 (inverse)，向量 ，向量 ，而 為向量 的轉置 矩陣 (transport)。對隨機變數 X 來說，矩陣 為共變異數矩陣，而對 X 來說，向量  為期望值向量 (mean vector) 。假如我們設 ，和 。對 n = 2 來說，n 維的密度函數可以縮減為二維的密度函數

40 　　在數位通訊系統中，對於成對獨立的高斯隨機變數的處理有很多個問題需要注意。假如 X 和 Y 是聯合高斯且為獨立，那麼它們會有  = 0 的聯合密度函數。假如  = 0 ，那麼這個密度函數為
還有 (1.42) (1.43) (1.44)

41 　　我們希望去釐清的問題就是隨機對 ( X , Y ) 機率的決定 (determination) 會落在下式的矩型區域
對於一個任意的 和 y2 的選擇 (choice) 來說，主要是受到 x1 < x2 和 y1 < y2 的限制。這個集合呈現在圖1.2。 　　求 值最容易的方式就是觀察

42 圖1.2　區域 S

43 且，因為 X 和 Y 是獨立連續隨機變數， 因為 X 和 Y 是高斯，所以對每個 x 來說 且對每個 y 來說 所以結論為 (1.45)