Introduction of Video Coding 電機四 劉光中 網路多媒體實驗第四組 2006/11/17
Why Video Coding? 如果影像不壓縮 SVGA (800X600) 來說,長度120分鐘的影片,以每秒24張播放,每個Pixel存3個byte(RGB)的資訊 3 x 800 x 600 x 24 x 60 x 120 = 2.48 x 10^11 byte 248 GB !!!! 51張DVD !!!!!
Coding V.S. Non-Coding SAMPLE
Summary of Coding Systems Temporal redundancy Removed by Motion Estimation/Compensation Spatial redundancy Removed by Transform coding Ex : DCT & Quantization Statistic redundancy Removed by Entropy coding(VLC) Ex : Huffman Coding
Why Temporal Redundancy? 每張鄰近frame之的內容”應該”相差不遠 也會有例外,像是轉換場景的瞬間 如果能找出每個frame之間內容的差距 把這些微小的差距拿去壓縮就行 大大增加了後兩項壓縮方法的壓縮率 (Spatial & Statistic Redundancy)
Basic Video Coding Flow
Motion Estimation 目的 Motion Estimation Algorithm的一些特點 Motion Vector 從上個frame來估計這個frame畫面的內容 Motion Estimation Algorithm的一些特點 以Block為基準(稍後會進一步介紹) 運算流程固定且較省運算量 適合製作成硬體 Motion Vector 記錄畫面移動的資訊
Example
Motion Estimation 目的 Motion Estimation Algorithm的一些特點 Motion Vector 從上個frame來估計這個frame畫面的內容 Motion Estimation Algorithm的一些特點 以Block為基準(稍後會進一步介紹) 運算流程固定且較省運算量 適合製作成硬體 Motion Vector 記錄畫面移動的資訊
Block-Matching Motion Estimation
Basic Video Coding Flow
Motion Compensation 將上一張frame的內容先以Motion Vector加以移動 再把之前的Residue加上去,就得到了我們要的這張新的frame 相似於 DPCM的概念
流程整理
DEMO Movie 1
Motion Compensation/Estimation 為什麼有些Frame是沒有壓縮的呢
Coding of Moving Pictures
範例比較 如果影片特性不同,Coding過程會有什麼地方出現差別呢
DEMO Movie 2
影片比較結果 動態少,Residue小 動態多,Residue大
Other Topics Low Power Fast Motion Estimation Algorithms Content Aware Algorithms
Low Power & Fast Algorithms 無線行動裝置越來越普及,Motion Estimation龐大的計算量會消耗很多能量。 如何能在Motion Estimation方面節省運算量,且同時保有不錯的品質。
Content Aware 一張畫面裡可以區分成幾個物件 以照不同的物件使用不同的運算量 關鍵在如何找出邊界 靜止的背景 移動的物體 靜態背景少運算一些 動態背景多運算一些 關鍵在如何找出邊界
感謝大家的聆聽