H.264畫框層級之快速模式決策方法 研究生：李明峰 指導教授：蔣依吾 博士 中山大學資訊工程學系 Greeting & self-introduction Topic Purpose 中山大學資訊工程學系 http://image.cse.nsysu.edu.tw/
Outline H.264/AVC Mode Decision Frame-Based Fast Mode Decision Method Experimental Results Outline Length Questions A personal touch
Description Advantage & Disadvantage H.264/AVC Description Advantage & Disadvantage
H.264/AVC Description ITU-T VCEG Video Coding Experts Group H.264 JVT Joint Video Team H.264/AVC ISO/IEC MPEG Moving Picture Experts Group MPEG-4 Part-10 AVC Advanced Video Coding
H.264/AVC Description 2003/5 final drafting completed 2005/3 Fidelity Range Extensions ITU-T Standards H.261 H.263 H.263+ H.263++ 背景 Joint ITU-T/MPEG Standards H.262 MPEG-2 H.264 MPEG Standards MPEG-1 MPEG-4 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004
Real Video, WMV, On2, Divix, … H.264/AVC Description 1990 2000 H.261 ITU-T H.262 H.263 ++ H.26L H.264 JVT AVC Same High level of commonality ISO / IEC MPEG-1 MPEG-2 MPEG-4 Part 10 Part 2 Real Video, WMV, On2, Divix, … Proprietary VC-9 SMPTE
Good video quality Low bit rates Advantage Good video quality Low bit rates Resolution Bit rates Broadcast DVD storage RTP/IP packet networks multimedia telephony systems Flexibility
Disadvantage Complexity High Profile High 10 High 4:2:2 High 4:4:4
編碼時間
Intra-mode decision Inter-mode decision
Mode Decision Block Base Intra-mode Inter-mode
Intra-Mode Decision
Intra-Mode Decision 4*4 horizontal 16*16 plane
Intra-Mode Decision 處理後的圖 原圖
Inter-Mode Decision Current Frame Reference Frames
Inter-Mode Decision 方塊 位置 Motion Vector Current Frame Reference Frame
A A A 不分割 巨區塊 B B B C 分成兩個16*8的區塊 C C
Inter-Mode Decision 所有的Inter模式
Mode Decision
Frame-Based Fast Mode Decision Method Flow Description The Method
概念圖 前置處理 Current frame Previous frame 演算法本體 MB的模式 H.264處理
概念圖 前置處理 分群 演算法本體 正規化 H.264處理
分群 4*4 sub macro block SNR 最高細節度 m4 高細節度 m5 中細節度 m1 低細節度 m3 最低細節度 的平均值
Current frame 5 frames Previous frame
Current frame 5 frames Previous frame 4 Pixels
Frame Difference Frame Difference Frame Difference Frame Difference Frame Difference 5 frame differences
53 Frame Difference 54 37 42 41 Frame Difference Frame Difference Frame Difference Frame Difference 53 47 40 36 49 44 33 47 46 38 57 63 72 59 70 74 71 60 69 75 58 68 65 70 76 5 frame differences
53 Frame Difference 54 37 42 41 Frame Difference Frame Difference Frame Difference Frame Difference 53 47 40 36 49 44 33 47 46 38 57 63 72 59 70 74 71 60 69 75 58 68 65 70 76 34 67 58 83 34
52 Frame Difference 54 33 40 38 53 47 34 35 48 44 33 44 43 36 49 52 43 43 46 36 61 45 47 38 56 47 45 38 34 對所有值加以平均，得到m1值
最高細節度 m4 m2 高細節度 m5 中細節度 m1 低細節度 m3 最低細節度 我們現在已經在五張的ref. frame裏面找到最接近的block，然後再來根據差值來判定每一個區塊是屬於哪一類的區塊，然後我們一共把區塊的分類分成五種 低細節度 m3 最低細節度
Frame Difference 52 54 33 40 53 47 34 35 48 44 43 36 38 49 46 61 45 56
正規化
正規化 細節 高 細節 低 細節 低 細節 低 細節 高 細節 高 細節 高 細節 高
最佳解的可能性 A A A B 巨區塊 分成兩個16*8的區塊 B B C C C 不分割 C 因為我們找出來的最佳解只局限於mv=0的地方，但真實上的最佳解很有可能是在不=0的地方 B B C C C 不分割 C
輸出 最高細節度 高細節度 高細節度 中細節度 中細節度 低細節度 低細節度 最低細節度
JM10.2 Fast mode decision Compared with JM Experimental Results JM10.2 Fast mode decision Compared with JM
JM10.2 Fast mode decision Homogeneous Regions Determination Edge detection (Sobel operator) Stationary Regions Detection SAD (previous MB and present MB)
FFMD FFMD SnrY BitRate FFMD ME time