MPEG4概論 MPEG4的原理與規格內容概述 主講人：姜文揚 2004/2/27 “http://www.chiariglione.org/mpeg/standards/mpeg-4/mpeg-4.htm”, MPEG4 Forum

Introduction – 為何要制訂MPEG4規格？ 為了使視訊、音訊媒體達到高品質、體積小、應用層面更廣的要求，於是導入了物件（object）的概念 MPEG4主要目標在於影像/聲音上物件化；然描述，儲存，傳送，融合這些物件的方式必須使用額外的功能，且這些功能是MPEG1/2 所沒有的 以上需求成為制訂MPEG4規格的主要原因

各種格式的影像其資料流大小比較 依照CCIR601規格(720 x 480 / 4:2:2 / 30 fps)： 若使用MPEG2壓縮： (720 + 360 * 2) * 480 * 30 * 8 = 166 (Mbps) 若使用MPEG2壓縮： 同樣品質：6 ～ 10 Mbps (此數據來自DVD的規格) 若使用MPEG4壓縮： 同樣品質：1.5 ～ 2 Mbps (此數據來自個人使用WMV V8/9的經驗得來) (若使用DivX：768 Kbps ～ 3Mbps)

Outline MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG4的目標 MPEG4的目標為： 同時MPEG4訂立了標準來達到上述目標： 素材(content)的重覆使用性(reusability) 適合網際網路上的應用 使用者和素材間的互動性

MPEG4的目標 MPEG4的目標為： 同時MPEG4訂立了標準來達到上述目標： represent units of aural, visual or audiovisual content(稱作media objects) describe the composition of these objects to create compound media objects that form audiovisual scenes multiplex and synchronize the data associated with media objects interact with the audiovisual scene generated at the receiver’s end

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG4重要定義 – 「Media Object」 包含了下面這三大纇： Still images (e.g. as a fixed background) Video objects (e.g. a talking person - without the background) Audio objects (e.g. the voice associated with that person, background music)

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

實例說明MPEG4物件概念的運作方式

實例說明MPEG4描述場景(scene)的方法 在一個已知的座標系下將media object放置在任何位置 改變media object的外型 編組(group)數個media object成為一個新的/複合(compound)的media object 在一個media object上加入串流資料, 例如加入聲音, 移動材質, 移動參數(animation parameter) 和使用者互動(改變視角, 聲音的聆聽位置)

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

和傳輸無關的MPEG4重要功能(functions) Binary format for scenes（BIFS）：描述時間和空間上一個場景的組成, 可以在這一層達到互動的功能 Object Descriptions（ODs）：較低階的階層. 定義基本串流資訊（elementary streams）和物件間的關係(例如在視訊會議中, 其中一個參與者的影像和聲音間之關係)同時這一層也存放著可以存取這些基本串流資訊的URL以及智慧財產權, 和提供解碼器去檢查語法（parse）的特徵（characteristics） （另）標準的檔案格式 （另）互動能力 Java的使用（MPEG-J） 使數個串流資料（stream）合成一比資料（其中包含了timing information）的工具（FlexMux tool） 將MPEG4資料存成檔案的工具 各種應用場合的介面（terminal & network） 其他都是與MPEG4在傳輸上的規定

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

深入介紹MPEG4的function – Binary Format for Scene description （BIFS） Logical structure of a scene：

Binary Format for Scene description （BIFS）做了哪些事？ How objects are grouped together How objects are positioned in space and time Attribute Value Selection：Examples include the pitch of a sound, the color for a synthetic object, activation or deactivation of enhancement information for scaleable coding, etc. Other transforms on media objects：例如互動性

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG4編碼流程圖

比較：MPEG2編碼流程圖 - DCT Q Entropy Encoding Invr. Q Motion Estimation Invr. DCT + Motion Compensation Frame Mem. “Design of an MPEG-2 Codec”, Konstantinos Konstantinides, Cheng-Tie Chen, Ting-Chung Chen, Hown Cheng, and Fure-Ching Jeng

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

為什麼MPEG4需要Profiles? 為了能夠有效率的去使用這些MPEG4中定義好的標準 conformance testing

MPEG4的Profiles Visual Profiles Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile

Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile

MPEG4的Profiles Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile provides efficient, error resilient coding of rectangular video objects, suitable for applications on mobile networks, such as PCS and IMT2000.

MPEG4的Profiles Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding of temporal and spatial scalable objects to the Simple Visual Profile, It is useful for applications which provide services at more than one level of quality due to bit-rate or decoder resource limitations, such as Internet use and software decoding.

MPEG4的Profiles Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding of arbitrary-shaped and temporally scalable objects to the Simple Visual Profile. It is useful for applications such as those providing relatively simple content-interactivity (Internet multimedia applications).

MPEG4的Profiles Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding of interlaced, semi-transparent, and sprite objects to the Core Visual Profile. It is useful for interactive and entertainment-quality broadcast and DVD applications.

MPEG4的Profiles Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding video objects having pixel-depths ranging from 4 to 12 bits to the Core Visual Profile. It is suitable for use in surveillance applications.

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG-4 File Format（目標） flexible, extensible format which facilitates interchange, management, editing, and presentation of the media

MPEG-4 File Format（範例） The MP4 file format is composed of object-oriented structures called ‘atoms’ Most atoms describe a hierarchy of metadata giving information such as index points, durations, and pointers to the media data. The media data itself is located elsewhere; it can be in the MP4 file, contained in one or more “mdat” or media data atoms, or located outside the MP4 file and referenced via URLs.

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG4 System在傳輸時的示意圖

MPEG4 - Network和使用者間的傳遞 重點在於合成時精確的時間控制（包含解決網路上傳輸時所造成的延遲和封包遺失的影響）

MPEG4的目標 MPEG4重要定義 –「Media Object」 實例說明MPEG4物件概念、場景(scene)的運作方式 和傳輸無關的MPEG4重要功能(functions) 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） MPEG4編碼流程圖 MPEG4的Profiles MPEG-4 的File Format MPEG4 System的傳輸 MPEG4的其他重要能力 MPEG4的版本關係 Summary - 重要觀念整理

MPEG4的其他重要能力 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness 8 bit transparency component Binary mask

MPEG4的其他重要能力 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness Complexity scalability in the encoder Complexity scalability in the decoder Spatial scalability Temporal scalability Quality scalability Fine Grain Scalability (all of the above)

MPEG4的其他重要能力 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness 提供有效率的靜態圖像、材質壓縮 11階層的quality scalability

MPEG4的其他重要能力 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness 使得圖像得以切割成數個小塊（tiles），並讓每一個小塊能夠獨自編碼。這表示即使畫面解析度即使很高，也只需要少量的記憶體即可進行編碼，而且此方法能夠大大增進隨機存取的效能

MPEG4的其他重要能力 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness Performance test中的重要一環，測試時會在MPEG4測試檔案中加入使用千分之一的資料錯誤和10ms的average length of burst errors

MPEG4的版本關係

Summary - 重要觀念整理 MPEG4提供了一套標準的方法來描述場景 Object不只是畫面上的一部份影像，更可以與其他物件（例如聲音）結合而成一個新的object MPEG4不只可以對2D影像做編碼，亦可對2D / 3D mesh做編碼（對3D物件的編碼能力） 各個物件間的同步是一件很重要的事（精確的時間控制）

謝謝觀賞