MPEG Family

What is MPEG? MPEG( Moving Picture Experts Group ) ISO底下的工作群 1988年成立 負責為數位音訊和視訊訂立標準

視訊壓縮標準演變 在視訊壓縮演算法/壓縮標準上平行著兩個國際組織的開發過程： H.標準:這是由ITU(國際電信聯盟)所開發的標準 MPEG標準:這是由MPEG委員會、後來又經lSO(國際標準組織)所核准的標準

MPEG-1 儲存媒體的標準 解析度 Constant Bit Rate 每秒30 個Frame YUV 光碟 352X240 1.5Mbps 每秒30 個Frame YUV Y：亮度 U(Cr)：紅色色差 V(Cb)：藍色色差

MPEG-1 Block Base Intra-mode Inter-mode

MPEG-1 12個Frame有一個 I Frame，間隔0.4Sec IBBPBBPBBPBBIBBPBBP Decodable frame rate

MPEG-1 Discrete Cosine Transform

MPEG-1 Audio Layer 1 Layer 2 Layer 3 Bit Rate 單音 128Kbps 96Kbps 64Kbps 立體音 256Kbps 192Kbps 品質 低 中 高 壓縮率 1:4 1:6~1:8 1:10~1:12

MPEG-1 Audio MPEG-I的Audio分成三層。Layer3 比 Layer2複雜但音質較好。Layer 2 又比Layer 1複雜且音質好。 但在解碼時Layer 3的decoder可以解Layer 3、Layer 2及Layer 1的bit-stream。Layer 2 decoder只能解Layer 2及Layer 1的bit-stream。所有Layers的frame structure都是一樣的。 Layer 1 和 Layer 2 MUSICAM Layer 3 ASPEC

MPEG-2 MPEG-2標準的目標則是希望能有更廣泛的應用，MPEG-2的系統因此被負予了錯誤回復能力的使命。 MPEG-2系統資料流的抗錯誤能力主要是來自Transport Stream。Transport Stream使用了新標頭及188 bytes固定長度的封包，固定長度的封包除硬體較好處理之外，也更適合錯誤更正的演算。因此Transport Stream適合於易出錯的傳輸實體（如有線電視網路或衛星電視）上負載壓縮的視訊及聲音資料。事實上，Transport Stream就是被特地設計來支援許多新功能的，如非同步多路傳輸（Asynchronous Multiplexing）。

MPEG-2 720X480( Mpeg-1 的 2 倍 ) 60Frame/s( Mpeg-1 的 2 倍 ) 以容量換取畫質 YUV HDTV( High Definition Television )、EDTV( Extended Definition Television) AAC( Advanced Audio Coding ) 5.1聲道( 5聲道+低頻率效果音 )

MPEG-2 Discrete Cosine Transform 編碼器 Frame/Field動態估計及補償器 離散餘弦變換編碼器主要是利用空間上的冗餘 Frame/Field動態估計及補償器 動態估計及補償器則是利用時間上的冗餘來壓縮資料 Variable Length Encoder可變長度編碼器 Huffman Coding 基礎層和加強層

MPEG-2 空間上的冗餘去除 視訊資料的一個特性是空間冗餘。一般來說，在同一張畫面上必有一些共通特性，也許是色彩上的，也許是幾何上的，或是其它特徵值得到的。所謂的空間冗餘去除，就是要識別出畫面中重要的元素，並移除重複且較無影響的元素的動作。 色彩取樣 人眼對於亮度變化較敏感而對於色度的變化相對的較不易查覺。MPEG-2採用亮度色度的色彩表示格式，Y表示亮度值（Luminance），Cr及Cb表示色度值（Chrominance），並且從降低色度取樣來減少訊號量。MPEG-2中定義了4：2：0、4：2：2及4：4：4採樣格式。4：2：0表示四個Y取一個Cr一個Cb；4：2：2表示四個Y取兩個Cr兩個Cb；而4：4：4表示四個Y取四個Cr四個Cb，即不做任何的採度取樣減少。減少色度採樣可以在盡量降低對視覺的影響下達到較大的資料縮減效果。

MPEG-2 離散餘弦變換 在用於視訊壓縮時，它把空間亮度採樣和相應的色度採樣強度資料轉化為空間頻率資料。MPEG-2的視訊壓縮中，找出存在於視訊中的每張畫面裡的空間冗餘，就是以將圖切成8x8的區塊（Block）後做離散餘弦變換來完成的。由於圖像的自然屬性，一個畫面中通常不會有很密集且大的波動，因此離散餘弦變換經常使代表較高空間頻率的離散餘弦變換係數的值很小，甚至為零。 量化 除了在4：2：2或4：2：0的色彩採樣過程中丟失了有限數量的資訊以外，MPEG-2的壓縮能力來自對離散餘弦變換係數靈活的量化過程。量化減少描述各係數的位元數的過程，亦即將各係數以較粗糙的度量單位描述之。量化的動作主要有兩個功能：一是讓原已很接近零的值儘量變成零，另外則是使得原來非零的係數分布範圍變小，有助於壓縮。量化是一種破壞性壓縮技巧，量化後的資料再還原時與原來的資料不會全然相同，因此視訊壓縮後失真的程度，主要便取決於量化位階的選取。

MPEG-2 空間上的冗餘去除 MPEG-2的畫面內預測模式只是將巨區塊內所有的像素值減去一個常數值，將原始影像的像素降低同樣的值，再將剩餘的像素資訊去做離散餘弦轉換和量化處理，把不易被人眼發現的高頻區域去掉，把剩下的資訊進行編碼。

H.263 空間上的冗餘去除

H.264 空間上的冗餘去除

H.264 空間上的冗餘去除

H.264 空間上的冗餘去除

H.264 空間上的冗餘去除

MPEG-2 空間上的冗餘去除 動作預測 MPEG-2的畫面間預測編碼是屬於固定區塊大小動態預測，它只有使用16×16大小的區塊來做移動估測，所以它在一個巨區塊中只會有一個移動向量。

MPEG-2 動作預測 方塊 位置 Motion Vector Current Frame Reference Frame

MPEG-2 動作預測

MPEG-2 動態補償 首先將畫面分為16x16的大區塊，然後找尋其在參考畫面中近似的大區塊所在位置，並將由目標大區塊到參考大區塊間位置的座標差記錄成動態向量。參考畫面在該畫面之前，稱為向前預測；參考畫面在該畫面之後，稱為向後預測；而參考畫面在該畫面前後都有，稱為雙向預測。而整個找尋動態向量的過程稱為動態估計，常見的為區塊匹配法。另外，因為預測可能不是最佳匹配且目標大區塊與參考大區塊間不一定完全一致，因此還要計算目標大區塊與參考大區塊間畫面訊號的差值，稱為預測誤差，用以在解碼時做補償之用。最後預測誤差再以空間的冗餘去除的壓縮法處理。

MPEG-2 動態補償

H.263 空間冗餘去除 A A A 不分割 巨區塊 B B B C 分成兩個16*8的區塊 C C

H.264 預測向量 對16×8區塊分割，上半邊區塊用其上方B的移動向量預測，下半邊區塊用其左邊A的移動向量預測；若A和B的移動向量與E的移動向量來自不同參考畫面，則A、B、C、D取中位數值。 對8×16區塊分割，左半邊區塊用其左方A的移動向量預測，右半邊區塊用其右上C的移動向量預測；若A和C的移動向量與E的移動向量來自不同參考畫面，則A、B、C、D取中位數值。

H.264 預測向量

MPEG-2 動作預測

MPEG-2 動作預測

H.264 動作預測

H.264 動作預測

MPEG-2 以資料本身冗餘為基礎的壓縮 可變位元率 Huffman Coding 視訊的資料經過壓縮後並非皆有相同的資料流量。畫面變動越大，壓縮比越小，資料流頻寬需求越大；反之，畫面變動越小，壓縮比越大，資料流頻寬需求就越小。 各畫面間壓縮後的值並不是固定的，固定的資料速率只是個理想，實際狀況下一昧的要求固定位元率不是犧牲了影像品質（以較低流量畫面為基準，較大流量的畫面強制做過多的壓縮）就是犧牲了容量（以較大流量畫面為基準，較低流量的畫面強制做過低的壓縮）。

MPEG-2 交錯畫面 這是為了配合電視訊號而增加的輸入格式。 原來的MPEG-1則因為不接受交錯畫面而必須在編碼前先將電視訊號轉換成非交錯畫面。因此P-畫面以場畫面來估算動作向量，是參考前面兩個剛剛編碼完的場畫面來做動作向量估算。

MPEG 3Mbps 80Mbps 5~10Mbps 1.38Mbps 6.5Mbps 0.88Mbps 352X288 1920X1152

MPEG 影像規格 Mpeg-1 Mpeg-2 Mpeg-4 壓縮能力 中 強 檔案大小 大 小 影像品質 可 很好 可至很好 網路傳輸 勉強 不可能 最佳化　 　 　 　

MPEG-3 1920X1440 用途：HDTV和EDTV 被Mpeg-2併倬

MPEG-4 What’s different between MPEG4 and other MPEGs? Why do we need MPEG4?

MPEG-4 流通便利與高容錯性 ex:Wireless Multimedia Application 高互動性服務 ex: Video-on-Demand 自然與合成物件的編碼 ex:電影特效

Audio Object

Video Object

自然/合成混合編碼

自然/合成混合編碼 ? We need ? BIFS Now we have

數位場景描述 描述物件群組關係 描述物件空間與時間上的位置 描述物件屬性

Logical structure of a scene

Logical structure of a scene

MPEG-4 object-based architecture

常見Mpeg-4應用設備 Video iPod MP4影音播放器 音樂格式：MP3, WMA, OGG, AC3 音訊：AAC、Protected AAC（iTunes ）、MP3、MP3 VBR、Audible、Apple Lossless、WAV、AIFF 照片：JPEG、BMP、GIF、TIFF、PSD（僅限 Mac）和 PNG格式 視訊支援：H.264(768 Kbps，320 x 240, 30fps) 音訊格式：.m4v, .mp4 與 .mov MPEG-4 視訊影片：最高可達 2.5 Mbps，480 x 480，每秒 30 影格 MP4影音播放器 音樂格式：MP3, WMA, OGG, AC3 視頻格式：AVI, MPEG1, MPEG2, MPEG4, VOB,DAT 圖片格式：JPG,最大YUV 4800*3600 pixels,支援圖片流覽功能

常見Mpeg-4應用設備 DVD錄放影機 DV攝影機 支援播放檔案格式： 影片：MPEG 4、DivX、Mpeg-2、Mpeg-1 照片：JPEG、柯達相片光碟 音樂: CD、MP3檔案 DV攝影機 影像檔案格式：ASF(MPEG-4相容)

常見Mpeg-4應用設備 3G手機 音樂播放器：MP3, AAC 鈴聲種類：MIDI, AAC, MP3 圖片支援格式：JPEG 影片播放格式：3GP 錄影格式：3GP