第十章 MPEG 介紹.

Presentation on theme: "第十章 MPEG 介紹."— Presentation transcript:

1 第十章 MPEG 介紹

2 10.1 前言 10.2 MPEG原理 10.3 移動估計 10.4 物件切割 10.5 場景變化的偵測 10.7 作業
10.1 前言 10.2 MPEG原理 10.3 移動估計 10.4 物件切割 10.5 場景變化的偵測 10.7 作業 搜尋視窗的決定 區塊匹配 第一張影像的處理 結合分水嶺法和時間的切割法

3 10.2 MPEG原理 MPEG1共包含了五部分 (1) MPEG系統層 (2) MPEG視訊層 (3) MPEG音訊層
(5) 軟體參考層 MPEG2除了保有MPEG1的五層結構外，另外增加了四層結構 (6) 數位儲存媒體的命令與控制 (7) 非向後式相容音訊 (8) 十位元視訊擴充 (9) 即時介面

4 (1) I 影像(Intra-coded picture )
MPEG視訊層中影像的分類 (1) I 影像(Intra-coded picture ) (2) P 影像(Predictive-coded picture) (3) B 影像(Bidirectionally predictive-coded picture) 圖 序列影像的I、B和P之編號

5 (1) I 影像可用JPEG壓縮法來進行壓縮。 (2) P 影像可利用 I 影像來進行壓縮。 P 影像可利用區塊匹配的技
依壓縮次序重排的序列影像 (1) I 影像可用JPEG壓縮法來進行壓縮。 (2) P 影像可利用 I 影像來進行壓縮。 P 影像可利用區塊匹配的技 巧補償的方法來進行有效的壓縮。 (3) B 影像的壓縮，我們可透過 I 影像、P 影像和該 B 影像來進行 內插以得到 B 影像。 圖10.2 依壓縮次序而重排的序列影像

6 MPEG4 MPEG4主要的部分除了繼承MPEG2的東西外，最大的特色為引入物件(Objects)的觀念。一張影像內的景可視為許多物件的合成。為了描述景的狀態，MPEG4提供了一種架構在VRML上的語言以讓用戶用以進行景的描述，這語言稱做BIFS。 MPEG7 在1998年時，MPEG7的計劃書中更宣稱能提供多媒體內容(Content)描述的介面。

7 10.3 移動估計 搜尋視窗的決定 圖10.3 目前區塊和搜尋視窗的關係

8 比對標準(AAD) (10.1) 上式中，　　　　　　　 ，且　　　 代表目前區塊位於 的灰階值；　　　　　　　代表參考區塊位於 的灰階值。目前區塊就是利用式(10.1)來求得最匹配的參考區塊。若目前區塊和最匹配的參考區塊皆被視為點，則兩點之間形成所謂的移動向量。 　　　　

9 令目前區塊 的移動向量為 ，而鄰近區塊 的移動向量為 。
兼顧估計準確度及計算時間的區塊匹配方法 給一目前區塊 和其鄰近的四個區塊 、 、 和 ， 令目前區塊 的移動向量為 ，而鄰近區塊 的移動向量為 　　　　　　　　　　　 。 我們定義一個位移變數 D 如下： (10.2) 告訴我們：目前區塊的移動向量和最近似的鄰近區塊之移動向量的差距為一個像素。 圖10.4 目前影像

10 決定位移變數 D 的三個計算量 利用六段視訊影像來分析 D 的相關機率。這六段視訊影像分別為月曆和列車、足球、花園、推銷員、蘇西小姐和桌球。令變數 l 代表第 l 段視訊， ；變數 j 代表在第 l 段視訊中的第 j 張影像。根據式(10.2)的定義，我們進一步根據上述的六段視訊來調查下面三個量 (10.3) (10.4) (10.5)

11 當 時，由於其機率 已高達94.24%，所以，我們就選定 來限制區塊匹配時的搜尋區域。 假定四個鄰近區塊的移動向量為 、 、 及 。
搜尋區域的決定 當 時，由於其機率 已高達94.24%，所以，我們就選定 來限制區塊匹配時的搜尋區域。 假定四個鄰近區塊的移動向量為 、 、 及 。 利用 大小的視窗將個別的 頭部所在予以框起來，我們可得四個小區域 、 、 和 。將這四個小區域聯集起來就可得到我們要的搜尋區域　　　　　　　　　 。 D 1 2 月曆和列車 0.0648 0.0162 0.8919 足球 0.1839 0.0660 0.5884 花園 0.1361 0.0272 0.7962 推銷員 0.1803 0.0084 0.7972 蘇西小姐 0.1289 0.0051 0.8621 桌球 0.1152 0.0197 0.7669 AVG(D) 0.1348 0.0238 0.7838 ACC(D) 0.9186 0.9424 圖10.6 式(10.3)、式(10.4)和式(10.5)的統計量(部分結果)

12 (a) 、 、 和 (b) 搜尋區域 S 的決定 圖 搜尋區域的決定

13 10.3.2 區塊匹配 在搜尋視窗內找出一個最小的 ADD 值，並得到對應的最佳匹配區塊所處的位置。
區塊匹配 在搜尋視窗內找出一個最小的 ADD 值，並得到對應的最佳匹配區塊所處的位置。 　　為了更節省完全搜尋的時間花費，我們提出的不規則搜尋區域法可結合完全尋法以達到更節省搜尋時間的目標。圖10.8為搜尋視窗和搜尋區域的關係示意圖。 圖10.8 搜尋視窗和搜尋區域的關係

14 改良式完全搜尋法 – 時間改良率 廣義的說，若搜尋視窗的大小為 ，則我們有下列結果。 定理10.1 　 利用我們找出的搜尋區域來進行區塊匹配的動作， 相較於在搜尋視窗內進行區塊匹配計算時間花費的 改良率為 。 我們利用上述的六個視訊片段做了一些PSNR和執行時間的效益評比實驗，結果發現我們所提的改良式完全搜尋法在PSNR上略遜於傳統的完全搜尋法，但在執行時間的花費上卻遠小於傳統的完全搜尋法。

15 區塊匹配 – 三步搜尋法 在三步搜尋法中，首先在搜尋視窗內抽樣出九個位置。目前區塊和這九個區塊比對後，我們得到最小的ADD值所對應的參考區塊。若所得到的最小ADD值仍大於門檻值，則以該最小ADD值所對應的參考區塊為中心點，再於搜尋視窗內抽樣出九個樣本位置，再從算出的九個ADD值中取出最小的ADD值所對應出的參考區塊，以得到目前區塊所對應的移動向量。 圖 三步搜尋法

16 10.4 物件切割 10.4.1 第一張影像的處理 有效的雜訊去除法
10.4 物件切割 第一張影像的處理 有效的雜訊去除法 這裏去除的雜訊指的是脈衝雜訊。令所框住的子影像如圖10.12所示。圖10.12中像素 的鄰近八個像素為 首先將 內的八個像素排序，則我們可得由小到大的序列 在 中，中值定為 圖 的子影像

17 中心點　 將改變為 這裏參數 和 將於後面被定義，且滿足 ； 。 這裏 表狀態數。 定義參數 ， ，如下 很容易可檢定出 當 ， 為目前子影像內的最小值或最大值。當 且 的值很大時，則 很有可能是脈衝雜訊。 我們希望利用 、 、 和 以更適切地決定 和 。

18 然後根據這這四個門檻值，將 、 、 和 各別分割成六區，共有 種組態，這裏 。
將 、 、 和 組成一個四維的向量 我們先定義出四個門檻值，例如 、 、 和 。 然後根據這這四個門檻值，將 、 、 和 各別分割成六區，共有 種組態，這裏 。 圖 的六個區域分割方式

19 我們可解得 令誤差為 為訓練用的像素，通常訓練用的影像是不含雜訊。 這裏 和 有關。 對 微分，且令為零，
這裏 和 有關。 對 微分，且令為零， 我們可解得 特別值得注意的是，上式中 的得到需考慮迴積過程中，同屬相同狀態的 子影像之相關值。

20 利用形態學算子(Morphological Operator) (10.7)
輪廓的得到 利用形態學算子(Morphological Operator) (10.7) 上式中 I 代表原始影像；　 代表在影像上找到的輪廓和各區域的外圍；符號 代表擴張(Dilation)算子，而 代表腐蝕(Erosion)算子；B 代表結構化元素集(Structuring Elements)。 圖10.14 式(10.7)的實作結果 (a) 原始輸入影像 (b) 物件的輪廓

21 10.4.2 結合分水嶺法和時間的切割法 利用分水嶺法得到所謂的移動物件 納入時間軸進行移動物件的追蹤工作
結合分水嶺法和時間的切割法 利用分水嶺法得到所謂的移動物件 納入時間軸進行移動物件的追蹤工作 假設在時間 t 拍得的影像叫 ，而在時間 拍得的影像叫 。 表示在 上的第 i 個物件，而 表示在 上的對應物件。令 和 存在這樣的關係 (10.8) 這裏限制 只受到旋轉 R 和放大縮小 S 以及平移 的影響才轉換成 ，這裏 是 的質心，而 可看成 轉成 的移動向量。

22 利用式(10.8)， 可由下式得到 假若 如下所示 圖 和 的相交情形 我們將對應的 稍微削薄一些，以得到一個標籤(Marker) ，將這標籤 投射到 上。假設 和 的相交情形如圖10.15所示。打斜線的區域是 和 不重疊之處。然後我們就以 和 的重疊區域為基地，利用分水嶺法逐步擴大區域以得到完整的 。如此一來，我們就完成了物件 的追蹤工作。

23 10.5 場景變化的偵測 兩張連續影像的彼此關連性 令視訊中兩張連續的影像分別為 和 。在 的位置上，
令視訊中兩張連續的影像分別為 和 。在 的位置上， 和 分別代表其上的灰階值。 和 的彼此關連性可表示為 (10.9) 代表 的梯度向量(Gradient Vector)； 　代表 和 兩向量間的夾角。 影像的自身關聯性 (10.10)

24 自身關聯性與彼此關聯性的關係 綜合上述推演，我們有 (10.11) 假如在 位置的附近，第 i 張影像和第 張影像皆沒什麼變化，則 ；否則的話，我們有 。

25 評量視窗內鄰近的梯度變化 定義視窗 W 的大小為 或 ，這裏得注意一點，W 是以 為中心。如何定義一個量度GDM來評量視窗的鄰近的梯度變化是否太大。 (10.12) 影像中每個點的亮度表示式 視訊中第 i 張影像內位於位置 的亮度可表示成 (10.13) 這裏 可想成平行光或環繞光； 為特定光源的強度； 和 為不同的反射係數。

26 連續兩張影像中相同位置之間的亮度關係 對第 張影像位於位置 的亮度可表示成 (10.14) 從(10.13)式子中，可得到 ，將其代入(10.14)式可得到 這裡　　　　　　　　　 。若令 ，則可得到 (10.15) 從式子(10.15)，可推得

27 GDM (x, y)對光變化的強健性 (10.16) 由式(10.16)可推出 (10.17) 大致上來說，k 介於0.3至3之間時， 。這說明了 對光的強弱變化相當具有強健性。

28 10.7 作業 習題一： 詳細敘述如何利用 I 影像和 P 影像來內插出 B 影像。 習題二：
　　在MPEG中，做完移動估計後，試敘述如何進行補償工作。